PEToolLLM: Towards Personalized Tool Learning in Large Language Models

作者: Qiancheng Xu, Yongqi Li, Heming Xia, Fan Liu, Min Yang, Wenjie Li

发布时间: 2025-02-27

来源: arxiv

研究方向: 个性化工具学习在大型语言模型中的应用

主要内容

本文研究了在大型语言模型（LLMs）中实现个性化工具学习的任务，通过整合用户的交互历史来实现个性化的工具使用。文章提出了一个名为PEToolLLaMA的框架，该框架通过监督微调和直接偏好优化来训练LLMs，使其能够根据用户的显式需求和隐式偏好提供个性化的工具使用辅助。

1. 首次提出了LLMs中个性化工具学习的任务。

2. 构建了第一个个性化工具学习基准PEToolBench，其中包含了反映多样化用户偏好和涵盖广泛工具使用场景的用户指令和交互历史。

3. 提出了一个名为PEToolLLaMA的个性化工具学习框架，实验结果表明，该框架在所有设置中都显著优于现有LLMs，性能提升甚至超过50%。

1. 监督微调（SFT）

2. 直接偏好优化（DPO）

3. 工具准备

4. 偏好构建

5. 数据创建

6. 工具分类

7. 工具偏好构建

8. 交互历史生成

9. 指令生成

在PEToolBench基准上的实验结果表明，PEToolLLaMA在工具准确率和参数准确率方面都显著优于现有的LLMs，特别是在包含用户偏好信息的设置中表现更为出色。

未来计划探索更多异构的个人用户数据，如用户画像或角色，以从多个维度反映用户偏好。此外，还计划将研究扩展到涉及多个工具的更复杂的个性化工具使用场景，如多工具场景，这将要求LLMs进行个性化的工具规划和多轮工具调用以有效地满足用户需求。