Style Quantization for Data-Efficient GAN Training
作者: Jian Wang, Xin Lan, Jizhe Zhou, Yuxin Tian, Jiancheng Lv
发布时间: 2025-04-03
来源: arxiv
研究方向: 生成对抗网络（GAN）训练与图像生成
主要内容
针对数据有限的GAN训练问题，提出了一种名为SQ-GAN的新型方法，通过引入风格空间量化方案来增强一致性正则化，从而提高GAN训练效率和生成图像质量。
主要贡献
1. 首次将风格空间量化技术应用于数据有限的GAN训练。
2. 提出了一种在中间潜在空间中进行量化以增强判别器一致性正则化的新方法。
3. 引入了一种创新性的代码本初始化技术，将外部知识融入代码本，并建立了一个语义丰富的词汇表，以更好地描述训练数据。
4. 通过全面的实验验证了该方法的有效性。
研究方法
1. 将输入潜在变量映射到中间潜在空间。
2. 使用可学习的代码本对中间潜在变量进行量化。
3. 引入均匀性约束，确保每个代码本条目明确控制不同的变化因素。
4. 使用最优传输距离来对齐代码本代码与训练数据中提取的特征。
5. 将外部知识嵌入代码本，建立语义丰富的词汇表。
6. 在有限数据设置下进行实验，验证方法的有效性。
实验结果
在Oxford-Dog、FFHQ、MetFaces和BreCa-HAD等数据集上进行的实验表明，与现有方法相比，SQ-GAN在判别器鲁棒性和生成图像质量方面都取得了显著改进。
未来工作
进一步研究基于SQ-GAN的图像生成和编辑方法，以及W空间中属性解耦和可解释性研究。