Beyond a Single Mode: GAN Ensembles for Diverse Medical Data Generation
作者: Lorenzo Tronchin, Tommy Löfstedt, Paolo Soda, Valerio Guarrasi
发布时间: 2025-04-02
来源: arxiv
研究方向: 医学图像生成与GAN集成
主要内容
该研究旨在解决医学图像生成中GAN（生成对抗网络）面临的挑战，如模式崩溃和真实数据分布覆盖不足。通过使用GAN集成方法，该研究提出了一种选择最优GAN集合并针对医学数据生成的方法，以实现高保真度、多样性和高效性。
主要贡献
1. 提出了一种构建GAN集合并发的方法，该方法对GAN模型和训练迭代具有鲁棒性，同时平衡数据表示和多样性，并最小化重叠和冗余。
2. 系统地分析了不同骨干架构在GAN评估中对嵌入提取的影响，包括基于ImageNet预训练模型的变体、针对医学领域微调的模型和测试无监督骨干。
3. 报告并分析了在三个不同医学数据集上的广泛测试，考虑了所提出的集成方法对下游任务和保真度和多样性方面的影响。
研究方法
1. 多目标优化问题，平衡保真度和多样性。
2. Swapping Assignments between Views (SwAV) 作为骨干来提取真实训练集和合成图像的嵌入。
3. 评估合成样本的保真度和多样性，使用密度和覆盖度指标。
4. Pareto优化方法，以找到同时最大化保真度和最小化重叠的集合。
实验结果
实验结果表明，与单个GAN相比，所提出的集成方法提高了合成医学图像的质量和实用性，从而提高了下游任务（如诊断建模）的有效性。此外，实验结果还表明，使用SwAV作为骨干的模型在所有任务中均优于其他模型，显示出其鲁棒性和泛化能力。
未来工作
未来的工作将集中在创建一个动态集成，根据下游模型的反馈进行调整。此外，当前方法需要训练大量网络才能选择最佳集成，这可能很昂贵，尤其是在高分辨率医学数据中。未来的一个方向是定义一个包含GAN训练、集成搜索和下游任务的总体计算预算，从而在固定预算内优化整个过程，在训练和优化之间平衡计算资源，以便同时进行下游任务，从而减少总体计算负担，并为医学研究和应用提供更可行的解决方案。