Exploring the Impact of Temperature Scaling in Softmax for Classification and Adversarial Robustness
作者: Hao Xuan, Bokai Yang, Xingyu Li
发布时间: 2025-03-03
来源: arxiv
研究方向: 深度学习、图像分类、对抗性攻击、softmax函数
主要内容
本研究探讨了softmax函数中的温度参数对图像分类的影响，包括其实践和理论方面。研究发现，适度的温度可以改善模型的整体性能，并且高温度可以增强模型对常见 corruption、自然 perturbation 和非目标对抗攻击的鲁棒性。
主要贡献
1. 在图像分类任务中，展示了在模型训练期间应用适度大温度可以改善整体性能。
2. 发现使用高温度训练的模型表现出增强对基于梯度的无目标对抗攻击的鲁棒性。
3. 展示了将温度控制集成到对抗性训练中，以提高深度学习应用中的模型性能和安全的潜力。
研究方法
1. 深度神经网络
2. 卷积神经网络（CNN）
3. 变换器（Transformer）
4. 交叉熵损失函数
5. 梯度分析
6. 对抗性训练
7. 实验分析
实验结果
实验结果表明，适度的温度可以提高模型的分类准确率，并且模型在遭受对抗性攻击时的鲁棒性也得到了提升。研究还发现，高温度训练的模型在处理自然扰动时表现出更好的性能。
未来工作
未来研究将专注于找到最佳的温度设置方法，并将温度控制方法应用于更复杂的对抗性训练方法。