GenDR: Lightning Generative Detail Restorator
作者: Yan Wang, Shijie Zhao, Kai Chen, Kexin Zhang, Junlin Li, Li Zhang
发布时间: 2025-03-11
来源: arxiv
研究方向: 图像超分辨率与生成式模型
主要内容
本文提出了一种名为GenDR的图像超分辨率方法，旨在解决传统超分辨率方法在细节恢复上的不足。GenDR通过结合文本到图像（T2I）扩散模型和超分辨率（SR）任务的特点，实现了高质量的图像细节恢复。
主要贡献
1. 设计了一种新的基模型SD2.1-VAE16，在保证模型效率的同时，扩大了潜在空间，以更好地处理超分辨率任务。
2. 提出了一致的分数身份蒸馏（CiD）方法，结合了SR任务特定的损失函数，以利用更多SR先验并对齐训练目标。
3. 扩展了CiD，引入了表示对齐和对抗学习，以增强感知质量和加速训练。
4. 简化了推理流程，使用VAE和UNet构建了简化的扩散流程，提高了推理效率。
研究方法
1. 基于SD2.1和开源VAE16构建的SD2.1-VAE16作为基模型。
2. 使用一致的分数身份蒸馏（CiD）进行步骤蒸馏，将多个步骤的扩散过程简化为单步框架。
3. 引入了CiDA，结合了CiD、表示对齐和对抗学习，以加速训练并恢复高多样性细节。
4. 构建了一个简化的扩散流程，仅包含VAE和UNet，以提高推理效率。
实验结果
GenDR在定量指标、主观视觉比较和人工评估方面都取得了显著的改进。与现有的方法相比，GenDR在客观质量/效率指标、主观视觉比较和人工评估方面都取得了显著的改进。
未来工作
未来研究可以探索更高效的训练方法，以及将GenDR应用于其他图像处理任务，如图像去噪、图像修复等。