HybridNorm: Towards Stable and Efficient Transformer Training via Hybrid Normalization
作者: Zhijian Zhuo, Yutao Zeng, Ya Wang, Sijun Zhang, Jian Yang, Xiaoqing Li, Xun Zhou, Jinwen Ma
发布时间: 2025-03-07
来源: arxiv
研究方向: 大型语言模型（LLMs）训练中的深度学习与自然语言处理
主要内容
本文研究了在大型语言模型（LLMs）训练过程中，如何通过改进Transformer模型的规范化策略来提高训练稳定性和模型性能。具体来说，作者提出了HybridNorm，这是一种结合了Pre-Norm和Post-Norm优点的混合规范化方法，旨在解决深度Transformer模型训练中的梯度流动稳定性和内部协变量偏移问题。
主要贡献
1. 提出了一种名为HybridNorm的混合规范化策略，该策略结合了Pre-Norm和Post-Norm的优点，以提高Transformer模型的训练稳定性和性能。
2. 通过实验验证了HybridNorm在多种大规模Transformer模型上的有效性，特别是在LLMs领域。
3. 对HybridNorm进行了理论上的梯度分析，证明了其在梯度流动稳定性和正则化效果方面的优势。
研究方法
1. 结合QKV规范化（QKV normalization）在注意力机制中的优点和Post-Norm在前馈网络（FFN）中的优势，设计了HybridNorm。
2. 在注意力机制中采用QKV规范化，以稳定层间信息流。
3. 在FFN中采用Post-Norm，以确保在Transformer的深层中有效扩展深度。
4. 对大规模模型进行了广泛的实验，包括密集架构和稀疏架构，以验证HybridNorm的有效性。
实验结果
实验结果表明，HybridNorm在多个基准测试中均优于Pre-Norm和Post-Norm，尤其是在LLMs领域。HybridNorm在训练过程中表现出更低的损失和更快的收敛速度，并且在下游任务中取得了更高的性能。
未来工作
未来工作可以包括：进一步探索混合规范化策略在其他深度学习模型中的应用，以及研究如何将HybridNorm与其他训练技术相结合，以进一步提高模型性能。