One-step Diffusion Models with $f$-Divergence Distribution Matching
作者: Yilun Xu, Weili Nie, Arash Vahdat
发布时间: 2025-02-25
来源: arxiv
研究方向: 生成模型，扩散模型，模型蒸馏
主要内容
本文提出了一种基于f-散度最小化的新型蒸馏框架，称为f-distill，用于加速扩散模型的生成过程。该框架通过匹配学生模型和教师模型生成的样本分布来提高生成速度，并通过使用不同的f-散度来优化生成效果。
主要贡献
1. 提出了一种基于f-散度最小化的蒸馏框架，允许更灵活地匹配学生模型和教师模型的分布。
2. 讨论了不同f-散度在模式寻求、梯度饱和和方差方面的权衡。
3. 提供了减少梯度方差和高效估计目标函数中不同项的实用指南。
4. 在多个图像生成任务上实证表明，f-distill在ImageNet64和MS-COCO的零样本文本到图像生成方面取得了最先进的性能。
研究方法
1. f-散度最小化
2. 分布匹配
3. 变分分数蒸馏
4. 辅助GAN目标
5. 密度比估计
实验结果
实验结果表明，f-distill在CIFAR-10、ImageNet64和MS-COCO等数据集上优于现有的变分分数蒸馏方法。特别是在使用Jensen-Shannon散度时，f-distill在ImageNet64上实现了最先进的单步生成性能，在MS-COCO上实现了零样本文本到图像生成的最先进性能。
未来工作
未来的工作可能包括探索其他f-散度，改进密度比估计，以及将f-distill应用于更广泛的生成模型。