Enhancing Large Language Models (LLMs) for Telecommunications using Knowledge Graphs and Retrieval-Augmented Generation
作者: Dun Yuan, Hao Zhou, Di Wu, Xue Liu, Hao Chen, Yan Xin, Jianzhong, Zhang
发布时间: 2025-04-03
来源: arxiv
研究方向: 增强大型语言模型（LLM）在电信领域的应用
主要内容
本文提出了一种结合知识图谱（KG）和检索增强生成（RAG）技术的框架，以提高LLM在电信领域的性能。该框架利用知识图谱捕获电信领域的信息，并通过RAG技术使LLM能够动态访问和利用最相关的知识。
主要贡献
1. 提出了一种结合KG和RAG的框架，用于增强LLM在电信领域的知识理解能力。
2. 构建了一个电信领域特定的知识图谱，用于表示网络协议、标准和相关实体之间的关系。
3. 通过实验证明了KG-RAG框架在电信领域问答任务中的有效性，准确率达到88%。
研究方法
1. 知识图谱构建：利用LLM从电信领域数据中提取实体和关系，构建知识图谱。
2. 检索增强生成：在LLM的响应生成过程中，动态检索与查询相关的知识。
3. 注意力机制：在LLM的生成过程中，使用注意力机制关注查询和检索到的知识。
实验结果
在Tspec-LLM数据集上，KG-RAG模型的问答任务准确率达到88%，优于LLM-only（48%）和RAG（82%）模型。
未来工作
探索知识图谱的动态扩展，以实时更新电信行业标准。