Ideas in Inference-time Scaling can Benefit Generative Pre-training Algorithms
作者: Jiaming Song, Linqi Zhou
研究方向: 生成式预训练算法
本文探讨了生成式预训练算法中,特别是在推理时间扩展方面的创新。文章指出,尽管近年来在基础模型方面取得了显著进展,但算法创新在这一领域却停滞不前,主要围绕离散信号的自回归模型和连续信号的扩散模型。作者认为,一种以推理优先的视角,即在推理时间优先考虑序列长度和细化步骤的扩展效率,可以启发新的生成式预训练算法。