Mitigating Hallucinations in YOLO-based Object Detection Models: A Revisit to Out-of-Distribution Detection
作者: Weicheng He, Changshun Wu, Chih-Hong Cheng, Xiaowei Huang, Saddek Bensalem
发布时间: 2025-03-11
来源: arxiv
研究方向: 目标检测中的过拟合问题及分布外检测技术
主要内容
该研究针对YOLO系列目标检测模型在处理分布外（OoD）样本时容易产生幻觉（过度自信的预测）的问题，提出了一种改进的OoD检测方法，旨在减少检测中的幻觉误差。
主要贡献
1. 揭示了现有OoD基准数据集中存在的数据质量问题，包括OoD测试数据集中存在类别内对象和ID数据集中存在未标记的OoD对象，导致评估结果失真。
2. 提出了一种新的微调方法，利用近OoD样本对YOLO检测器进行微调，以建立对OoD样本的防御性决策边界。
3. 通过实验验证了该方法在减少幻觉方面的有效性，实现了检测精度和幻觉抑制之间的平衡。
研究方法
1. 分析现有OoD基准数据集的质量问题。
2. 提出一种基于近OoD样本的微调策略，利用近OoD样本作为背景或负样本，引导模型区分近OoD数据和ID样本。
3. 构建新的OoD基准数据集，包括近OoD和远OoD数据集，以更准确地评估OoD检测方法。
实验结果
实验结果表明，该方法可以显著减少YOLO模型在OoD样本上的幻觉误差，同时在ID任务上保持了较高的检测精度。与原始模型相比，微调后的模型在OoD数据集上的误报率降低了约88%。
未来工作
未来工作将集中在以下几个方面：开发可量化的分层OoD定义，将近OoD样本归纳为分层样本，以更精确地描述建立的防御性决策边界；选择OoD数据源，包括真实和合成数据。