Understanding the Learning Dynamics of LoRA: A Gradient Flow Perspective on Low-Rank Adaptation in Matrix Factorization
作者: Ziqing Xu, Hancheng Min, Lachlan Ewen MacDonald, Jinqi Luo, Salma Tarmoun, Enrique Mallada, Rene Vidal
发布时间: 2025-03-11
来源: arxiv
研究方向: 机器学习，矩阵分解，低秩适应
主要内容
本文研究了低秩适应（LoRA）在矩阵分解（MF）任务中的学习动态，特别是通过梯度流（GF）进行微调时的学习动态。作者分析了小初始化和光谱初始化对LoRA学习动态的影响，并提出了新的光谱初始化方法以改善学习性能。
主要贡献
1. 理论分析了LoRA在矩阵分解中的学习动态，揭示了初始化规模对学习动态的影响。
2. 提出了基于光谱的初始化方法，证明了该初始化方法可以使GF以任意精度收敛到目标矩阵。
3. 通过实验验证了理论分析，并证明了小初始化和光谱初始化可以提高学习性能和泛化性能。
研究方法
1. 梯度流（GF）
2. 矩阵分解（MF）
3. 低秩适应（LoRA）
4. 光谱初始化
5. 数值实验
实验结果
实验结果表明，小初始化和光谱初始化可以显著提高LoRA在矩阵分解和图像分类任务中的学习性能和泛化性能。小初始化可以加快收敛速度并降低最终误差，而光谱初始化可以实现以任意精度收敛到目标矩阵。
未来工作
未来可以进一步研究LoRA在更广泛的应用场景中的学习动态，例如自然语言处理和计算机视觉。此外，还可以探索更有效的初始化方法和优化算法，以提高LoRA的泛化性能和鲁棒性。