AA-CLIP: Enhancing Zero-shot Anomaly Detection via Anomaly-Aware CLIP
作者: Wenxin Ma, Xu Zhang, Qingsong Yao, Fenghe Tang, Chenxu Wu, Yingtai Li, Rui Yan, Zihang Jiang, S. Kevin Zhou
发布时间: 2025-03-12
来源: arxiv
研究方向: 零样本异常检测、视觉-语言模型、CLIP模型
主要内容
本文提出了一种名为AA-CLIP的模型，旨在通过增强CLIP模型在文本和视觉空间中的异常识别能力，来解决CLIP模型在零样本异常检测任务中的异常无意识问题。
主要贡献
1. 提出了一种名为AA-CLIP的模型，通过两阶段策略提高了CLIP在零样本异常检测任务中的性能。
2. 使用残差适配器进行高效适配，同时保持模型的泛化能力。
3. 在工业和医学领域取得了最先进的零样本异常检测性能，证明了方法的有效性。
研究方法
1. 两阶段策略：第一阶段，创建异常感知文本锚点以区分正常和异常语义；第二阶段，将视觉特征与这些锚点对齐以进行精确的异常定位。
2. 残差适配器：用于在浅层中引入轻量级适配器，以实现模型的微调。
3. Disentangle Loss：用于增强正常和异常嵌入之间的分离。
实验结果
在多个数据集上进行了实验，结果表明AA-CLIP在零样本异常检测任务中取得了最先进的性能，尤其是在数据量有限的情况下。
未来工作
探索CLIP在解决其他“无意识”问题中的应用，例如上下文感知能力或对领域相关细微差别的特异性。