IMPACT: A Generic Semantic Loss for Multimodal Medical Image Registration
作者: Valentin Boussot, Cédric Hémon, Jean-Claude Nunes, Jason Downling, Simon Rouzé, Caroline Lafond, Anaïs Barateau, Jean-Louis Dillenseger
发布时间: 2025-04-03
来源: arxiv
研究方向: 医学图像处理与注册
主要内容
本研究提出了一种名为IMPACT的通用语义相似度度量，用于多模态医学图像配准。该方法利用预训练的分割模型提取语义特征，以实现无需特定任务训练的通用配准。
主要贡献
1. 提出了一种基于预训练模型的通用语义相似度度量，用于多模态医学图像配准。
2. 验证了基于CNN的TotalSegmentator和基于Transformer的SAM2.1/MedSAM2模型在多模态图像配准中的鲁棒性和通用性。
3. 通过比较深度学习模型提取的特征，提高了配准的鲁棒性和准确性。
4. 将IMPACT集成到Elastix和VoxelMorph框架中，展示了其在传统和基于学习的范式中的适应性。
5. 通过优化实现，实现了与互信息相当的速度，使其适用于实际医疗应用。
6. 利用预训练模型，无需额外的微调，消除了对特定领域模型训练的需求。
7. 建立了M730模型作为多模态图像配准的可靠基线，证明了其在不同成像模态之间实现准确和鲁棒配准的有效性。
研究方法
1. 使用预训练的分割模型（TotalSegmentator，SAM2.1）作为通用的2D/3D特征提取器。
2. 通过比较从这些大规模架构中提取的语义特征来实现配准。
3. 将IMPACT集成到Elastix（算法注册）和VoxelMorph（基于深度学习的注册）框架中。
4. 使用不同的距离度量（L1，L2，NCC，余弦相似度）来量化提取的特征之间的相似性。
5. 使用多分辨率策略来优化配准过程。
6. 通过消融实验评估不同超参数选择对IMPACT损失性能的影响。
实验结果
在五个涉及不同成像模态和解剖区域的复杂多模态配准任务中，对IMPACT进行了广泛的测试。实验结果表明，与基线方法相比，IMPACT在解剖对齐方面取得了显著的改进。在所有任务中，IMPACT都实现了TRE，DSC和HD95的持续改进，证明了其在面对噪声、伪影和模态变化时的鲁棒性。
未来工作
扩展通用性以涵盖更多模态，例如PET或功能性MRI。开发针对特定临床上下文的自适应特征选择策略。探索将语义特征与算法和深度学习方法相结合的更先进的方法。