AutoMisty: A Multi-Agent LLM Framework for Automated Code Generation in the Misty Social Robot
作者: Xiao Wang, Lu Dong, Sahana Rangasrinivasan, Ifeoma Nwogu, Srirangaraj Setlur, Venugopal Govindaraju
发布时间: 2025-03-11
来源: arxiv
研究方向: 社交机器人编程与多智能体系统
主要内容
AutoMisty是一个基于多智能体和大型语言模型（LLM）的框架，旨在通过自然语言指令实现Misty社交机器人的自动代码生成，使得非编程用户能够轻松定制机器人行为。
主要贡献
1. 提出了AutoMisty，首个自然语言驱动的机器人编程多智能体系统。
2. 设计了双层推理机制，包括自我反思和人工反馈，以提高决策和执行可靠性。
3. 构建了涵盖不同复杂程度的28项任务基准集，并引入了五个评估指标。
4. 通过实验证明，AutoMisty不仅能够持续生成高质量的代码，还能实现精确的代码控制，显著优于ChatGPT-4o和ChatGPT-o1的直接推理。
研究方法
1. 优化了Misty API，以提高LLM的理解能力。
2. 设计了双层优化机制，包括自我反思和人工反馈。
3. 构建了多智能体协作框架，包括规划智能体、动作智能体、触摸智能体和视听智能体。
4. 使用用户代理来代理用户输入，并允许用户观察机器人的实际行为并提出进一步的改进。
实验结果
实验结果表明，AutoMisty在所有复杂程度上的任务成功率均为100%，而ChatGPT-o1在复杂任务上的成功率为75%。AutoMisty能够生成高质量的代码，并且具有很好的泛化能力。
未来工作
将扩展工作以包括多个社交机器人和人类之间的协作和交互。