SECURA: Sigmoid-Enhanced CUR Decomposition with Uninterrupted Retention and Low-Rank Adaptation in Large Language Models
作者: Zhang Yuxuan, Li Ruizhe
研究方向: 大型语言模型(LLM)的持续学习和参数高效微调
本文提出了SECURA,一种基于Sigmoid增强的CUR分解低秩自适应(LoRA)的参数高效微调方法,旨在减轻LLM在微调过程中的灾难性遗忘问题,同时提高微调性能。