Ideas in Inference-time Scaling can Benefit Generative Pre-training Algorithms
作者: Jiaming Song, Linqi Zhou
发布时间: 2025-03-12
来源: arxiv
研究方向: 生成式预训练算法与推理时间缩放
主要内容
本文研究了生成式预训练算法在推理时间上的缩放效率，提出了一个以推理时间优先的视角，并以此为基础，探讨了如何通过改进推理过程来提升生成式预训练算法的性能。
主要贡献
1. 提出了一个以推理时间优先的视角，强调了推理时间缩放在生成式预训练算法中的重要性。
2. 通过改进扩散模型的推理过程，提出了Inductive Moment Matching (IMM)算法，实现了更高效的推理。
3. 分析了多令牌预测（MTP）模型的推理设计，指出了其局限性，并提出了改进方案。
4. 提出了未来研究方向，包括进一步探索推理时间缩放在其他生成式预训练算法中的应用，以及如何优化多令牌预测模型等。
研究方法
1. Inductive Moment Matching (IMM)
2. 扩散模型
3. 多令牌预测（MTP）
4. 推理时间缩放
5. 模型容量分析
实验结果
通过实验验证了IMM算法在图像生成任务上的有效性，并展示了其在推理效率上的优势。
未来工作
未来将探索推理时间缩放在其他生成式预训练算法中的应用，以及如何优化多令牌预测模型等。