FLEKE: Federated Locate-then-Edit Knowledge Editing

作者: Zongkai Zhao, Guozeng Xu, Xiuhua Li, Kaiwen Wei, Jiang Zhong

发布时间: 2025-02-25

来源: arxiv

研究方向: 联邦学习与知识编辑

主要内容

本文提出了一种名为FLEKE的联邦知识编辑任务，旨在解决大型语言模型（LLMs）在多客户端场景下的知识更新问题。通过引入FedEdit框架，实现了多个客户端在保持隐私和降低计算开销的情况下，协同进行知识编辑。

1. 提出FLEKE任务，首次将LEKE应用于联邦学习场景。

2. 设计FedEdit框架，通过两阶段编辑策略优化知识向量选择和重用。

3. 重新组织zsRE和COUNTERFACT数据集，模拟FLEKE任务，实验结果表明FedEdit在联邦学习场景下性能优异。

1. 联邦学习（FL）

2. Locate-then-Edit（LE）知识编辑

3. zi向量作为中介知识向量（MKV）

4. 余弦相似度检索相关MKV

5. 两阶段编辑框架：编辑和重编辑

在zsRE和COUNTERFACT数据集上进行的实验表明，FedEdit在联邦学习场景下，性能至少达到非联邦场景中最佳方法的96%，且在特定方面（如特定性）优于非联邦方法。

研究非独立同分布（non-IID）数据对FLEKE任务的影响，以及如何处理现实世界中的外部因素，如环境变化或系统异常。