Compositional Subspace Representation Fine-tuning for Adaptive Large Language Models
作者: Andy Zhou
发布时间: 2025-03-16
来源: arxiv
研究方向: 自然语言处理（NLP）和参数高效的模型微调（PEFT）
主要内容
提出了一种名为Compositional Subspace Representation Fine-tuning (CS-ReFT) 的方法，用于解决大语言模型（LLM）在多任务适应中的交叉任务干扰问题。
主要贡献
1. 通过学习多个正交子空间变换，每个变换专门针对一个技能，并通过轻量级路由器进行组合，CS-ReFT 防止了跨任务冲突。
2. 与 LoRA 等方法相比，CS-ReFT 仅需要 0.0098% 的模型参数，减少了 12.7 倍。
3. CS-ReFT 通过直接在隐藏状态空间中应用正交约束，比基于权重的正交 LoRA 方法更干净地隔离了技能。
4. 在 AlpacaEval 基准测试中，使用 CS-ReFT 对 Llama-2-7B 进行微调，实现了 93.94% 的胜率，超过了 GPT-3.5 Turbo（86.30%），同时参数开销极小。
研究方法
1. 学习多个低秩子空间变换，每个变换针对一个特定的技能。
2. 引入一个轻量级路由器，根据输入动态选择激活哪些子空间。
3. 在训练过程中联合训练子空间和路由器，使模型能够隐式地发现如何将不同输入路由到不同的子空间。
4. 通过最小化任务损失和路由器输出的稀疏正则化损失来训练模型。
实验结果
在 AlpacaEval 基准测试中，CS-ReFT 在 Llama-2-7B 上实现了 93.94% 的胜率，超过了 GPT-3.5 Turbo 和其他参数高效的微调方法，同时参数开销极小。
未来工作
未来研究应关注可扩展性（对于大量技能集进行子空间合并或共享）和可解释性（解释路由器的门控决策）。