A Pilot Empirical Study on When and How to Use Knowledge Graphs as Retrieval Augmented Generation
作者: Xujie Yuan, Yongxu Liu, Shimin Di, Shiwen Wu, Libin Zheng, Rui Meng, Xiaofang Zhou, Lei Chen, Jian Yin
发布时间: 2025-03-03
来源: arxiv
研究方向: 知识图谱增强检索生成（KG-RAG）方法的研究与应用
主要内容
本文针对知识图谱增强检索生成（KG-RAG）方法在自然语言处理中的应用进行了深入研究。通过分析不同场景下的KG-RAG方法，探讨了何时以及如何使用KG-RAG方法来提升生成模型的性能。
主要贡献
1. 系统分析了KG-RAG方法在不同应用场景下的性能表现。
2. 通过实证研究，验证了KG-RAG方法在提升生成模型性能方面的有效性。
3. 提出了针对不同任务场景的KG-RAG配置策略。
4. 分析了KG-RAG方法中各个组件配置对性能的影响。
5. 为KG-RAG方法在实际应用中提供了指导性建议。
研究方法
1. 文献综述：对已有的KG-RAG方法进行了系统性的梳理和总结。
2. 实证研究：通过在多个数据集上重新实现和评估6种KG-RAG方法，分析了9种KG-RAG配置和17种LLM的组合对性能的影响。
3. 实验评估：采用了多种评价指标，包括正确率、召回率、F1值、BERTScore、ROUGEScore和G-Eval等，对模型性能进行评估。
实验结果
实验结果表明，KG-RAG方法可以有效提升生成模型的性能，尤其是在领域特定任务中。同时，研究发现，不同配置策略对模型性能的影响存在差异，需要根据具体任务场景进行调整。
未来工作
未来研究可以进一步探索以下方向：1）在更大规模的LLM上应用KG-RAG方法；2）深入研究KG-RAG方法的配置策略；3）对KG质量对KG-RAG性能的影响进行更系统性的研究。