Interactive Medical Image Analysis with Concept-based Similarity Reasoning
作者: Ta Duc Huy, Sen Kim Tran, Phan Nguyen, Nguyen Hoang Tran, Tran Bao Sam, Anton van den Hengel, Zhibin Liao, Johan W. Verjans, Minh-Son To, Vu Minh Hieu Phan
发布时间: 2025-03-11
来源: arxiv
研究方向: 医学图像分析，可解释机器学习，交互式模型
主要内容
本文提出了一种名为CSR（概念相似度推理）的新型网络，旨在解决医学图像分析中可解释性和交互性的问题。CSR通过在图像中搜索与概念原型相似的区域来对疾病进行分类，并通过原型图像和相似度地图提供解释。它允许医生在模型预测过程中进行交互，从而提高模型的准确性和透明度。
主要贡献
1. 提出了一种名为CSR的新型网络，提供图像级别的概念原型，并具有内在的概念解释。
2. 引入了新颖的空间级交互，允许医生直接与特定图像区域交互。
3. 在三个生物医学数据集上，CSR相对于其他可解释方法提高了4.5%的F1分数。
4. 实现了概念级别的解释，无需事后分析，与部分原型方法不同。
5. 引入了新颖的空间交互机制，包括训练时间交互和概念级别交互。
研究方法
1. 概念模型：用于提取可解释的概念特征。
2. 特征投影器P：用于增强概念特征空间。
3. 任务头H：基于概念相似度分数进行分类。
4. 对比学习：用于增强概念向量的泛化能力。
5. 空间交互：允许医生通过绘制正负框来指示模型关注和忽略的区域。
6. 概念交互：允许医生直接消除不相关的概念。
实验结果
在三个生物医学数据集上，CSR相对于其他可解释方法提高了4.5%的F1分数。通过点指游戏（PG）评估，CSR实现了60.9%的PG命中率，通过细化概念图，该命中率进一步提高到79.5%。
未来工作
未来工作将包括探索多模态学习，以增强模型的能力，以及研究如何将CSR应用于其他医学图像分析任务。