AI-Assisted Colonoscopy: Polyp Detection and Segmentation using Foundation Models
作者: Uxue Delaquintana-Aramendi, Leire Benito-del-Valle, Aitor Alvarez-Gila, Javier Pascau, Luisa F Sánchez-Peralta, Artzai Picón, J Blas Pagador, Cristina L Saratxaga
发布时间: 2025-04-03
来源: arxiv
研究方向: 医学影像处理与计算机辅助诊断
主要内容
该研究旨在评估基础模型在结肠镜检查中用于息肉检测和分割的有效性，并开发一种能够准确检测和分割息肉的管道。
主要贡献
1. 提出了一种基于基础模型的多模态息肉检测和分割方法。
2. 通过在三个结肠镜检查数据集上进行的全面基准测试，评估了五种不同的基础模型在息肉分割方面的性能。
3. 发现基础模型在医学应用中的成功高度依赖于领域专门化，并证明了领域特定模型与通用模型相比具有优越的性能。
4. 提出了一个检测和分割模型，该模型在多个数据集上表现出色，具有适应性和鲁棒性，可用于临床应用。
研究方法
1. 使用基于深度学习的模型进行息肉检测和分割。
2. 采用对象检测模型（如YOLOv8、YOLO-World和GroundingDINO）和分割模型（如SAM和MedSAM）。
3. 在三个不同的结肠镜检查数据集上训练和测试模型。
4. 通过平均精度（AP）和平均召回率（AR）等指标评估模型性能。
5. 进行条件评估，以分析不同条件下检测性能的差异。
实验结果
在三个数据集上进行的实验表明，基础模型在息肉检测和分割方面具有很高的准确性。GDINO模型在检测任务中表现出色，而MedSAM模型在分割任务中表现出色。将两者结合使用，可以进一步提高检测和分割的准确性。
未来工作
未来的工作将包括探索更先进的模型和算法，以提高息肉检测和分割的准确性。此外，还将研究如何将这项技术应用于更广泛的医学影像处理任务。