自适应并行推理:高效推理扩展的下一个范式
伯克利 AI Research 梳理了并行推理领域进展,重点讨论自适应并行推理——让模型自行决定何时分解并并行化独立子任务、生成多少并发线程以及如何协调。文章对比了自一致性、Best-of-N、Tree/Graph of Thoughts、MCTS、ParaThinker、GroupThink、Hogwild!
伯克利 AI Research 梳理了并行推理领域进展,重点讨论自适应并行推理——让模型自行决定何时分解并并行化独立子任务、生成多少并发线程以及如何协调。文章对比了自一致性、Best-of-N、Tree/Graph of Thoughts、MCTS、ParaThinker、GroupThink、Hogwild!
伯克利 AI 研究团队提出 GRASP,一种面向学习型世界模型的梯度规划器,通过将轨迹提升到虚拟状态实现跨时间并行优化、直接向状态迭代加入随机性以探索、并重塑梯度让动作获得清晰信号,从而让长时域规划变得可行。该方法针对长时域 rollout 中梯度爆炸/消失、非贪心结构导致的局部极小值以及高维视觉模型状态输入梯度脆弱等问题。
Berkeley AI Research 提出 SPEX 与 ProxySPEX 算法,用于在大规模场景下识别 LLM 的关键交互。SPEX 利用稀疏性与低阶性把交互搜索转化为稀疏恢复问题,ProxySPEX 进一步借助层级结构,以约 10x 更少的消融达到 SPEX 的性能。
Berkeley AI Research 提出一种基于互信息的成像系统评估与优化框架,仅用含噪测量和噪声模型即可量化测量对物体的区分能力,无需任务专用解码器。该方法在彩色摄影、射电天文、无透镜成像和显微成像四个领域验证,信息估计能预测解码器性能,优化后的设计在更少内存和算力下达到端到端 SOTA 方法水平。相关成果发表于 NeurIPS 2025 论文。