Provable Robust Overfitting Mitigation in Wasserstein Distributionally Robust Optimization
作者: Shuang Liu, Yihan Wang, Yifan Zhu, Yibo Miao, Xiao-Shan Gao
发布时间: 2025-03-07
来源: arxiv
研究方向: 机器学习，鲁棒优化，对抗攻击
主要内容
本文提出了一种名为Statistically Robust WDRO (SR-WDRO)的新方法，旨在解决Wasserstein分布鲁棒优化（WDRO）在对抗攻击中的鲁棒过拟合问题。SR-WDRO通过结合Wasserstein距离和Kullback-Leibler散度来创建新的不确定性集，从而在保证模型泛化能力的同时，提升对抗攻击的鲁棒性。
主要贡献
1. 提出SR-WDRO方法，有效缓解了WDRO中的鲁棒过拟合问题。
2. 证明了SR-WDRO在保证泛化能力的同时，能够提升对抗攻击的鲁棒性。
3. 建立了Stackelberg和Nash均衡的存在条件，为SR-WDRO提供了理论支持。
4. 提出了一种基于SR-WDRO的鲁棒训练算法，保持了计算效率。
5. 在CIFAR-10和CIFAR-100数据集上进行了实验，结果表明SR-WDRO在缓解鲁棒过拟合和提升鲁棒性方面优于现有方法。
研究方法
1. Wasserstein分布鲁棒优化（WDRO）
2. Kullback-Leibler散度
3. Kullback-Leibler散度与Wasserstein距离的结合
4. Stackelberg和Nash均衡
5. 鲁棒训练算法
实验结果
在CIFAR-10和CIFAR-100数据集上的实验结果表明，SR-WDRO在缓解鲁棒过拟合和提升鲁棒性方面优于现有方法，同时保持了与标准对抗训练方法相当的计算效率。
未来工作
未来将研究如何将SR-WDRO扩展到无监督学习和回归任务，并探索更有效的近似算法来缓解计算成本。