Generalizability of Neural Networks Minimizing Empirical Risk Based on Expressive Ability
作者: Lijia Yu, Yibo Miao, Yifan Zhu, Xiao-Shan Gao, Lijun Zhang
发布时间: 2025-03-07
来源: arxiv
研究方向: 神经网络泛化能力与表达能力
主要内容
本文研究了神经网络在最小化经验风险下的泛化能力，基于网络的表达能力建立了人口准确率的下界，并分析了网络大小和数据量对泛化能力的影响。
主要贡献
1. 建立了基于网络表达能力的泛化能力下界。
2. 证明了在足够大的训练数据和网络规模下，包括过参数化模型在内的网络可以有效地泛化。
3. 提供了泛化必要条件的必要条件，表明对于某些数据分布，确保泛化的训练数据量必须超过表示相应数据分布所需的网络规模。
4. 对深度学习中的几个现象提供了理论见解，包括鲁棒泛化、过参数化的重要性以及损失函数对泛化的影响。
研究方法
1. 基于网络的表达能力。
2. 使用样本复杂度界限。
3. 分析算法依赖泛化界限。
4. 提供对深度学习中现象的解释，如鲁棒泛化、过参数化的重要性以及损失函数对泛化的影响。
实验结果
实验结果表明，增加数据量或扩大网络规模可以提高准确率，这与理论结果一致。
未来工作
将结果扩展到深度神经网络，更精确地估计表示给定数据分布所需的开销。