Multi-modal Contrastive Learning for Tumor-specific Missing Modality Synthesis
作者: Minjoo Lim, Bogyeong Kang, Tae-Eui Kam
发布时间: 2025-02-27
来源: arxiv
研究方向: 多模态MRI图像合成与脑肿瘤分割
主要内容
本文提出了一种基于多模态对比学习的生成模型，用于从可用的多模态MRI图像中合成缺失的目标模态图像。该模型通过结合多模态对比学习和分割解码器，提高了生成图像的质量，特别是在肿瘤区域的生成精度。模型在BraSyn挑战中表现出色，能够生成高质量的缺失模态图像，并同时预测分割输出。
主要贡献
1. 提出了一种新的多模态对比学习方法，用于从多源模态中提取关键信息，生成高质量的缺失模态图像。
2. 在生成模型中引入了分割解码器，通过同时生成缺失模态图像和预测分割输出，提高了肿瘤区域的生成精度。
3. 通过结合对比损失、分割损失、生成器损失和多个自表示损失，有效地训练了模型，使其能够生成与目标模态图像高度相似的伪目标图像。
4. 在BraSyn挑战中展示了模型的高性能，特别是在生成FLAIR和T1-ce缺失模态时的优异表现。
研究方法
1. 多模态对比学习：通过融合多源模态的特征，进行对比学习，确保生成器能够学习到多源模态的结构信息。
2. Query-selected Attention (QS-Attn) 模块：基于熵选择特征，确保在对比学习过程中使用最具信息量的特征。
3. 分割解码器：在生成缺失模态图像的同时，预测分割输出，帮助生成器更好地学习肿瘤区域的特征。
4. 自表示损失：在解码器和编码器特征中应用自表示损失，确保生成器能够更好地匹配目标图像的分布。
实验结果
在BraSyn挑战的验证集上，模型在生成缺失FLAIR和T1-ce模态时分别取得了0.9071和0.9046的SSIM分数，而在生成缺失T2和T1模态时分别取得了0.9327和0.9258的SSIM分数。平均SSIM分数为0.9182，表明模型在各种缺失模态情况下都能保持较高的图像质量。
未来工作
未来的工作可以进一步优化模型，特别是在分割性能方面，通过引入更多的分割损失和更复杂的网络结构，进一步提高肿瘤区域的生成精度。此外，可以考虑将模型扩展到3D图像处理，以更好地适应临床需求。