Harnessing the Reasoning Economy: A Survey of Efficient Reasoning for Large Language Models
作者: Rui Wang, Hongru Wang, Boyang Xue, Jianhui Pang, Shudong Liu, Yi Chen, Jiahao Qiu, Derek Fai Wong, Heng Ji, Kam-Fai Wong
发布时间: 2025-04-02
来源: arxiv
研究方向: 高效推理的大语言模型（LLMs）
主要内容
本文调查了LLMs在推理经济方面的研究，重点关注在训练后和测试推理阶段提高推理效率的方法。文章分析了推理低效的原因，分析了不同推理模式的特征，并探讨了实现推理经济的潜在解决方案。
主要贡献
1. 提供了一个全面的LLMs推理经济的概述，涵盖了从基础到挑战和解决方案的各个方面。
2. 分析了LLMs推理中的低效行为，包括训练后方法引起的低效模型行为和测试时间中的低效模型使用。
3. 提出了优化推理经济的策略，包括数据、算法和架构方面的改进。
4. 讨论了实现推理经济的开放挑战，并提出了未来的研究方向。
研究方法
1. 监督微调（SFT）和强化学习（RL）
2. 并行和顺序测试时间方法
3. 长2短RL
4. 自适应预算感知调整
5. CoT压缩
6. 系统1和系统2合作
7. 自适应激活参数
8. 自适应预算分配
9. 自适应算法选择
10. 自适应计算分配
实验结果
文章讨论了各种实验结果，表明不同的方法可以有效地提高LLMs的推理效率，同时减少计算成本。
未来工作
未来的工作可能包括开发更有效的奖励模型，探索多模态推理中的推理经济，以及提高LLMs的透明度和可解释性。