Rethinking Diffusion Model in High Dimension
作者: Zhenxin Zheng, Zhenjie Zheng
发布时间: 2025-03-13
来源: arxiv
研究方向: 机器学习，高维数据生成，扩散模型
主要内容
本文深入分析了高维扩散模型的工作原理，特别是目标函数和推理方法。通过对高维数据稀疏性对目标函数的影响进行分析，提出了一种新的推理框架，并展示了如何利用该框架设计更高效的推理方法。
主要贡献
1. 分析了高维数据稀疏性对扩散模型目标函数的影响，提出了“加权求和退化”现象。
2. 提出了一个新的推理框架——自然推理，该框架统一了大多数主流推理方法，包括DDPM祖先采样、DDIM、Euler、DPM-Solver、DPM-Solver++和DEIS。
3. 利用新的框架设计了一种新的推理方法，并通过实验证明其比现有主流推理方法更高效。
4. 分析了高阶采样加速采样的原因，以及低阶采样如何适应大的CFG（条件生成器配置）。
研究方法
1. 目标函数分析
2. 自然推理框架设计
3. 实验验证
实验结果
实验结果表明，新的推理方法在图像生成任务中比现有方法更有效，尤其是在高维和稀疏数据场景下。
未来工作
未来的工作将集中在自动搜索最优系数矩阵，以及将Self Guidance操作替换为神经网络以实现更高效的推理。