Towards a Multimodal MRI-Based Foundation Model for Multi-Level Feature Exploration in Segmentation, Molecular Subtyping, and Grading of Glioma

作者: Somayeh Farahani, Marjaneh Hejazi, Antonio Di Ieva, Emad Fatemizadeh, Sidong Liu

发布时间: 2025-03-11

来源: arxiv

研究方向: 医学影像分析与脑肿瘤诊断

主要内容

提出了一种名为MTS-UNET的多任务学习模型，用于脑肿瘤的分割、分子亚型和病理分级。该模型基于预训练的SWIN-UNETR架构，并结合了肿瘤感知特征编码（TAFE）和跨模态差异（CMD）模块，以提高模型的性能和可解释性。

主要贡献

1. 开发了一种基于基础模型的脑肿瘤多任务学习框架，能够同时进行分割、分子亚型和病理分级。

2. 提出了肿瘤感知特征编码（TAFE）和跨模态差异（CMD）模块，以增强模型对肿瘤特征和成像差异的捕捉能力。

3. 在多个公开数据集上进行了实验，验证了模型的有效性和泛化能力。

研究方法

1. 深度学习

2. 多任务学习

3. SWIN-UNETR架构

4. 肿瘤感知特征编码（TAFE）

5. 跨模态差异（CMD）

6. 自我监督学习

7. 在线数据增强

实验结果

MTS-UNET在分割任务上取得了平均Dice分数为84% ± 3.51的结果，在IDH突变预测、1p/19q共缺失预测和分级任务上分别取得了AUC为90.58% ± 1.25、69.22% ± 3.58和87.54% ± 2.65的结果，显著优于基线模型。消融实验验证了TAFE和CMD模块的关键贡献，并证明了框架的鲁棒性。

未来工作

未来将探索以下方面：开发分割独立的特征提取方法，增强模型对图像差异的鲁棒性；将多组学数据纳入模型，提高模型的临床实用性；优化模型，使其能够在实时临床应用中运行。