自适应并行推理：高效推断扩展的下一代范式

自适应并行推理模型的概述。
如果一个推理模型能够自主决定何时分解和并行化独立子任务、应生成多少并发线程，以及如何根据具体问题协调它们？我们详细分析了近年来在并行推理领域中的最新进展，特别是自适应并行推理。
披露：本文部分是景观调查，部分是对自适应并行推理的看法。作者之一（Tony Lian）共同领导了ThreadWeaver（Lian et al., 2025），这是下面讨论的方法之一。作者旨在以各自的方式呈现每种方法。
动机
近年来，LLM推理能力的进步主要由推断时间扩展驱动，除了数据和参数扩展（OpenAI et al., 2024; DeepSeek-AI et al., 2025）。通过中间步骤、回溯和探索明确输出推理标记的模型现在在数学、编程和代理基准测试中占据主导地位。这些行为使模型能够探索替代假设、纠正先前的错误并综合结论，而不是坚持单一解决方案（Wen et al., 2025）。问题在于顺序推理随着探索量的增加而线性扩展。扩大顺序推理标记的成本在于，模型可能会超出有效的上下文限制（Hsieh et al., 2024）。中间探索路径的累积使得模型难以在歧义中进行区分。