Better wit than wealth: Dynamic Parametric Retrieval Augmented Generation for Test-time Knowledge Enhancement
作者: Yuqiao Tan, Shizhu He, Huanxuan Liao, Jun Zhao, Kang Liu
发布时间: 2025-04-03
来源: arxiv
研究方向: 自然语言处理，知识增强的生成模型
主要内容
提出了一种名为Dynamic Parametric RAG (DyPRAG)的轻量级框架，旨在通过将文档直接转换为参数，以插件式的方式在测试时无缝增强大型语言模型（LLM）的知识，同时降低推理、训练和存储成本。
主要贡献
1. 提出了一种名为Dynamic Parametric RAG (DyPRAG)的轻量级框架，有效地将文档转换为参数。
2. 通过将上下文知识和测试时生成的参数知识相结合，实现了卓越的知识融合。
3. 实验结果表明，DyPRAG在泛化、高效注入参数和无缝结合上下文知识方面表现优异，同时降低了RAG幻觉。
4. DyPRAG-Combine通过将上下文相关参数注入模型，有效地缓解了RAG幻觉问题，并使LLM能够内化之前未见过的知识。
研究方法
1. 文档参数化：将文档转换为参数表示。
2. 参数翻译：使用超网络将文档嵌入转换为适配器参数。
3. 动态参数RAG训练：训练参数翻译器以学习从文档到参数的映射函数。
4. 动态参数RAG推理：在推理阶段，使用训练好的参数翻译器将检索到的文档转换为参数表示，并合并为LoRA参数进行推理。
实验结果
在多个数据集上的实验表明，DyPRAG在各个任务中均取得了优异的性能，并且与标准RAG和PRAG相比，具有更低的推理、训练和存储成本。DyPRAG-Combine在独立同分布和分布外设置中均取得了最佳结果，显示出强大的泛化能力。
未来工作
将DyPRAG应用于其他知识密集型任务，如数学推理；深入分析模型的内部工作流程，以更好地理解模型的决策过程；开发一个将参数知识与上下文信息无缝结合的RAG系统，并部署到实际应用中。