Semi-Supervised Medical Image Segmentation via Knowledge Mining from Large Models
作者: Yuchen Mao, Hongwei Li, Yinyi Lai, Giorgos Papanastasiou, Peng Qi, Yunjie Yang, Chengjia Wang
发布时间: 2025-03-11
来源: arxiv
研究方向: 医学图像分割、半监督学习、知识挖掘、大模型与小模型交互
主要内容
该研究提出了一种通过知识挖掘从大型模型（如SAM）中获取知识来提升小型、本地部署的深度学习模型（如U-Net++）在医学图像分割任务上的性能的方法。该方法利用了SAM的广泛视觉知识，通过将SAM在未标记图像上的输出转换为提示信息，来扩展U-Net++模型的能力，并迭代地改进SAM的预测，以适应特定的医学分割任务。
主要贡献
1. 提出了一种新的知识挖掘方法，作为大型模型和小型模型之间交互的机制，以实现数据高效的分割。
2. 测试了不同类型的视觉提示，并确定了最有效的提示技术（点和边界框）。
3. 证明了所提出的方法可以进一步从特定领域的微调SAM模型和其他自监督技术中受益。
研究方法
1. 在有限的标记数据集上训练一个轻量级的U-Net++模型。
2. 使用轻量级模型对未标记数据进行预测，并将这些预测转换为提示信息。
3. 使用这些提示信息来指导SAM生成伪标签。
4. 使用伪标签对U-Net++模型进行微调。
5. 比较了一次性伪标签生成和连续伪标签生成的效果。
6. 使用Dice相似系数和IOU作为评估指标。
实验结果
在Kvasir SEG和COVID-QU-Ex数据集上，与基线U-Net++模型相比，所提出的方法在Dice上分别提高了3%和1%。即使在U-Net++仅在标记数据上训练的情况下，该方法也超过了基线模型。这表明知识挖掘可以克服特定模型中的数据限制，同时保持临床应用所需的操作效率。
未来工作
探索更有效的提示技术，以提高伪标签的质量。