Knowledge Updating? No More Model Editing! Just Selective Contextual Reasoning

作者: Guoxiu He, Xin Song, Aixin Sun

发布时间: 2025-03-10

来源: arxiv

研究方向: 人工智能，自然语言处理，大语言模型知识更新

主要内容

本文研究了大语言模型（LLM）的知识更新问题，提出了一种名为选择性情境推理（SCR）的方法，用于在不修改模型参数的情况下更新LLM的知识。

1. 对现有的十种模型编辑方法进行了全面的评估，发现它们在可靠性、泛化性、局部性和可移植性方面都存在显著的不足。

2. 提出了选择性情境推理（SCR）方法，通过利用LLM的情境推理能力来更新知识，而不需要修改模型参数。

3. 在两个反事实数据集上对SCR方法进行了评估，结果表明其在四个维度上均优于现有的模型编辑方法。

1. 知识选择：使用检索模型从外部知识库中检索与查询语义相似的知识。

2. 知识确认：LLM评估检索到的知识是否与查询相关。

3. 情境推理：LLM根据检索到的知识和查询生成答案。

实验结果表明，SCR方法在四个维度上均优于现有的模型编辑方法，尤其是在泛化性和可移植性方面表现突出。

未来工作可以关注优化知识选择策略，以及将更复杂的推理机制集成到知识更新中。