New Statistical Framework for Extreme Error Probability in High-Stakes Domains for Reliable Machine Learning

作者: Umberto Michelucci, Francesca Venturini

发布时间: 2025-04-02

来源: arxiv

研究方向: 机器学习在高风险领域的可靠性评估

主要内容

本文提出了一种新的统计框架，用于评估机器学习模型在极端错误概率下的可靠性。该框架基于极值理论（EVT），能够通过分析模型性能的尾部分布来估计最坏情况下的失败概率。

1. 提出了一个与蒙特卡洛交叉验证技术无缝集成的新的统计框架。

2. 展示了该框架在合成数据和真实世界数据集上的应用，证明了其评估极端错误的能力。

3. 详细描述了该方法的算法实现。

1. 极值理论（EVT）

2. 蒙特卡洛交叉验证

3. 最大似然估计

4. 置信区间估计

实验结果表明，该框架能够有效地估计极端错误概率，并克服了传统交叉验证方法的局限性。在合成数据和真实世界数据集上的应用均证明了其有效性和鲁棒性。

未来工作将集中于将此方法扩展到分类问题，并研究数据集大小与基于EVT的预测可靠性之间的关系。此外，还将致力于改进EVT参数估计方法，以提高在小数据集或高维数据中的稳健性。