Investigating the Effectiveness of a Socratic Chain-of-Thoughts Reasoning Method for Task Planning in Robotics, A Case Study

作者: Veronica Bot, Zheyuan Xu

发布时间: 2025-03-13

来源: arxiv

研究方向: 机器人学与自然语言处理

主要内容

该研究旨在探索将大型语言模型（LLM）应用于机器人任务规划中的效果，特别是针对需要空间感知的机器人任务。研究通过将LLM与Socratic Chain-of-Thought（SocraCoT）推理方法结合，评估了三种推理策略的有效性：非CoT/非SocraCoT、仅CoT和SocraCoT。

1. 首次将Socratic方法与CoT推理相结合，用于生成机器人任务规划代码。

2. 提出了一种名为EVINCE-LoC的方法，以增强在复杂和动态测试场景中的性能。

3. 通过实验验证了SocraCoT在提高任务完成率和减少执行时间方面的有效性。

1. 使用GPT-4(Omni)和模拟Tiago机器人进行对象搜索任务。

2. 采用三种推理策略：非CoT/非SocraCoT、仅CoT和SocraCoT。

3. 在Webots引擎中模拟真实世界环境。

4. 通过对比实验评估不同推理策略的效果。

5. 使用累积得分和时间作为性能指标。

实验结果表明，与仅CoT相比，SocraCoT在提高任务完成率方面表现更好。然而，SocraCoT也伴随着更长的执行时间和更高的token成本。非CoT/非SocraCoT方法由于代码错误或对象识别错误而失败的比例较高。

未来研究将探索通过提示工程和任务难度调节来进一步提高SocraCoT的效果。此外，研究还将探索Socratic推理在处理高度复杂和动态任务中的应用。