CLIPure: Purification in Latent Space via CLIP for Adversarially Robust Zero-Shot Classification
作者: Mingkun Zhang, Keping Bi, Wei Chen, Jiafeng Guo, Xueqi Cheng
发布时间: 2025-02-27
来源: arxiv
研究方向: 计算机视觉，机器学习，对抗样本防御
主要内容
本文提出了一种名为CLIPure的对抗鲁棒零样本图像分类器，它基于CLIP模型，通过在CLIP的潜在空间中进行净化来提高对抗鲁棒性。
主要贡献
1. 提出了一种在CLIP的潜在空间中进行净化的新方法，提高了对抗鲁棒性。
2. 提出了两种CLIPure的变体：CLIPure-Diff和CLIPure-Cos，它们分别使用不同的方法来建模图像的潜在向量。
3. 在多个数据集上进行了实验，结果表明CLIPure显著提高了零样本分类的鲁棒性。
4. CLIPure-Cos是第一个不基于生成模型的无监督净化方法，显著提高了防御效率。
研究方法
1. 使用双向随机微分方程（SDEs）来建模攻击和净化过程。
2. 使用KL散度来衡量净化风险。
3. 在CLIP的潜在空间中进行净化。
4. 使用DiffusionPrior模块和余弦相似度来建模图像的潜在向量。
5. 将潜在向量归一化以减少向量长度的影响。
实验结果
CLIPure在CIFAR-10、ImageNet和13个数据集上进行了广泛的实验，结果表明它显著提高了零样本分类的鲁棒性。例如，在CIFAR10上，鲁棒性从71.7%提高到91.1%；在ImageNet上，鲁棒性从59.6%提高到72.6%。
未来工作
未来工作可以探索在CLIP的潜在空间中进行净化在更广泛的应用中的潜力，例如视频分类和语音识别。