Ontology Generation using Large Language Models
作者: Anna Sofia Lippolis, Mohammad Javad Saeedizade, Robin Keskisärkkä, Sara Zuppiroli, Miguel Ceriani, Aldo Gangemi, Eva Blomqvist, Andrea Giovanni Nuzzolese
发布时间: 2025-03-10
来源: arxiv
研究方向: 本体工程与大型语言模型
主要内容
本研究探讨了大型语言模型（LLMs）在自动化本体工程中的应用潜力，通过用户故事和竞争力问题描述本体需求，直接生成有效的OWL本体草稿。
主要贡献
1. 提出并评估了两种新的提示技术：Memoryless CQbyCQ 和 Ontogenia，用于自动化本体开发。
2. 强调了评估本体结构的三项重要标准，并强调了多维评估的重要性，以捕捉生成的本体质量和可用性。
3. 通过在包含10个本体和100个不同竞争力问题和29个不同用户故事的基准数据集上进行的实验，比较了三种LLMs使用两种提示技术的性能。
4. 展示了使用LLMs支持的当前本体工程技术的改进。特别是，使用Ontogenia的OpenAI o1-preview模型生成的本体质量足以满足本体工程师的要求，在建模能力上显著优于新手本体工程师。
研究方法
1. 使用基准数据集进行实验，包含10个本体和100个不同的竞争力问题和29个不同的用户故事。
2. 比较了三种LLMs（GPT-4、OpenAI o1-preview 和 Llama-3.1-405B_instruct-16b）使用两种提示技术（Memoryless CQbyCQ 和 Ontogenia）的性能。
3. 评估了生成的本体，包括比例模型竞争力问题、超元素统计和专家定性分析。
实验结果
实验结果表明，使用LLMs可以显著提高本体工程的质量和效率。特别是，使用Ontogenia的OpenAI o1-preview模型在建模能力上优于新手本体工程师。然而，实验中也发现了一些常见的错误和结果质量的可变性，这在使用LLMs进行本体编写支持时需要考虑。
未来工作
未来工作将集中于解决实验中发现的局限性，例如通过手动重工程生成的本体草稿来减少超元素。此外，将探索如何通过用户界面（例如插件）来支持本体草稿的进一步优化。