Ideas in Inference-time Scaling can Benefit Generative Pre-training Algorithms
作者: Jiaming Song, Linqi Zhou
发布时间: 2025-03-11
来源: arxiv
研究方向: 生成式预训练算法
主要内容
本文探讨了生成式预训练算法中，特别是在推理时间扩展方面的创新。文章指出，尽管近年来在基础模型方面取得了显著进展，但算法创新在这一领域却停滞不前，主要围绕离散信号的自回归模型和连续信号的扩散模型。作者认为，一种以推理优先的视角，即在推理时间优先考虑序列长度和细化步骤的扩展效率，可以启发新的生成式预训练算法。
主要贡献
1. 提出了一种以推理优先的视角来改进生成式预训练算法。
2. 使用归纳矩匹配（IMM）作为具体例子，展示了如何通过针对扩散模型推理过程的修改来提高样本质量。
3. 提出了一种改进的DDIM采样器，通过在速度网络中添加目标时间步长来提高推理效率。
4. 讨论了多令牌预测（MTP）模型中存在的假设问题，并提出了改进方案。
5. 强调了在推理过程中考虑模型容量和扩展效率的重要性。
研究方法
1. 归纳矩匹配（IMM）
2. 改进的DDIM采样器
3. 多令牌预测（MTP）模型的分析与改进
4. 推理时间扩展分析
实验结果
通过改进的DDIM采样器和MTP模型，实验结果表明，这些方法在样本质量上优于扩散模型，同时在推理效率上提高了超过一个数量级。
未来工作
未来工作将集中在进一步探索和改进推理时间扩展技术，以推动生成式预训练算法在多模态数据上的应用，并最终突破当前预训练的瓶颈。