Grouped Sequential Optimization Strategy -- the Application of Hyperparameter Importance Assessment in Deep Learning
作者: Ruinan Wang, Ian Nabney, Mohammad Golbabaee
发布时间: 2025-03-10
来源: arxiv
研究方向: 深度学习中的超参数优化（HPO）
主要内容
该研究提出了一个名为‘分组序列优化策略（GSOS）’的新的超参数优化方法，旨在通过利用超参数重要性评估（HIA）来加速深度学习中的超参数优化过程。
主要贡献
1. 提出了一个新的分组序列优化策略（GSOS），通过使用HIA获取的超参数重要性权重来指导超参数分组和优化顺序。
2. 将GSOS策略与基于Tree-structured Parzen Estimator（TPE）的贝叶斯优化方法相结合，验证了其有效性。
3. 在六个图像分类数据集上进行了实验，证明了GSOS策略可以显著缩短优化时间，同时不牺牲模型性能。
研究方法
1. 超参数重要性评估（HIA）
2. 贝叶斯优化（基于TPE）
3. 分组序列优化策略（GSOS）
4. 实验评估
实验结果
在六个图像分类数据集上，GSOS策略比传统的并行优化策略平均减少了31.9%的优化时间，同时优化时间减少了19.69%。虽然在大多数数据集上验证准确性和测试准确性略有下降，但GSOS策略在大多数情况下都提供了更好的性能。
未来工作
未来工作可以进一步探索GSOS在其他模型架构（如RNNs或Transformer模型）上的应用，以及与Hyperband或强化学习等优化技术的集成。此外，将GSOS应用于AutoML管道也可能提高自动模型调优的效率。