ECLeKTic: a Novel Challenge Set for Evaluation of Cross-Lingual Knowledge Transfer
作者: Omer Goldman, Uri Shaham, Dan Malkin, Sivan Eiger, Avinatan Hassidim, Yossi Matias, Joshua Maynez, Adi Mayrav Gilady, Jason Riesa, Shruti Rijhwani, Laura Rimell, Idan Szpektor, Reut Tsarfaty, Matan Eyal
发布时间: 2025-03-03
来源: arxiv
研究方向: 自然语言处理，跨语言知识迁移
主要内容
本文提出了一种名为ECLEKTIC的闭卷问答数据集，用于评估跨语言知识迁移能力。该数据集通过控制Wikipedia文章在不同语言中的存在与否，检测信息在不同语言中的不均匀覆盖。数据集中的问题在源语言中生成，答案则在相关Wikipedia文章中，这些文章在其他11种语言中没有对应的文章。实验结果表明，即使是SOTA模型也难以有效地在不同语言之间共享知识。
主要贡献
1. 提出了ECLEKTIC数据集，用于评估跨语言知识迁移能力。
2. 通过实验证明了SOTA模型在跨语言知识迁移方面存在困难。
3. 分析了模型大小、脚本共享等因素对知识迁移的影响。
4. 提出了改进模型知识迁移能力的建议。
研究方法
1. 构建了一个包含12种语言的数据集，用于评估跨语言知识迁移能力。
2. 使用闭卷问答的方式评估模型的知识迁移能力。
3. 通过实验分析了不同模型在不同语言之间的知识迁移表现。
4. 使用LLM作为评判模型答案正确性的标准。
实验结果
实验结果表明，即使是SOTA模型也难以有效地在不同语言之间共享知识。其中，Gemini 2.0 Pro模型在整体成功率方面表现最佳，但也只有41.3%的成功率。在转移能力方面，Gemini 2.0 Pro模型能够将65.0%的事实从源语言迁移到目标语言。实验还发现，模型在共享脚本的语言之间迁移知识更容易。
未来工作
未来可以从以下几个方面进行改进：1. 扩大数据集，包括更多语言和更多类型的知识；2. 探索新的模型结构和训练方法，以提高知识迁移能力；3. 研究如何更好地指导模型进行知识迁移。