Logit Disagreement: OoD Detection with Bayesian Neural Networks

作者: Kevin Raina

发布时间: 2025-02-25

来源: arxiv

研究方向: 机器学习，深度学习，贝叶斯方法，异常检测

主要内容

该研究提出了一种基于贝叶斯神经网络的异常检测方法，特别针对分布外检测（OoD）。通过测量模型参数后验样本中logits的分歧来估计认知不确定性，该方法在多个实验中取得了优于传统方法的表现。

1. 提出了一种新的认知不确定性度量方法，基于logits的分歧。

2. 该方法在OoD检测实验中优于传统认知不确定性度量方法。

3. 该方法在多个数据集上与贝叶斯基准预测熵性能相当。

4. 证明了在贝叶斯神经网络中，基于logits分歧的认知不确定性度量方法可以有效地用于OoD检测。

1. 贝叶斯神经网络

2. 均值场变分推断

3. 认知不确定性度量

4. logits分歧

5. 预测熵

6. 互信息

在MNIST和CIFAR10数据集上的实验表明，与互信息相比，基于logits分歧的认知不确定性度量方法在OoD检测方面表现出显著的改进。在MNIST和CIFAR10实验中，该方法在AUROC和FNR95方面均优于互信息，并且在某些情况下与贝叶斯基准预测熵相当。

鼓励未来研究在贝叶斯神经网络的特征空间（包括logits）中测量认知不确定性，用于OoD检测。此外，鼓励评估其他后验推断方法，如拉普拉斯近似，与这些提出的分数一起用于OoD检测。