FMT:A Multimodal Pneumonia Detection Model Based on Stacking MOE Framework

1. 提出了一种名为FMT的多模态肺炎检测模型，通过联合表示学习、动态掩码注意力策略和MOE架构来提高诊断准确性。

2. 在小型多模态肺炎数据集上，FMT实现了94%的准确率、95%的召回率和93%的F1分数，优于单模态基线和医疗基准CheXMed。

3. FMT为资源受限的医疗环境中的肺炎多模态诊断提供了一种可扩展的解决方案。

1. 使用ResNet-50和BERT进行联合表示学习。

2. 采用动态掩码注意力策略模拟临床模态损失，以提高鲁棒性。

3. 使用MOE架构进行多级决策细化。

4. 在多任务学习框架中集成不同模态的信息。

5. 使用掩码注意力机制动态构建模态感知掩码矩阵。

6. 使用MOE模块进行参数隔离和专家设计。