Complex LLM Planning via Automated Heuristics Discovery
作者: Hongyi Ling, Shubham Parashar, Sambhav Khurana, Blake Olson, Anwesha Basu, Gaurangi Sinha, Zhengzhong Tu, James Caverlee, Shuiwang Ji
发布时间: 2025-02-27
来源: arxiv
研究方向: 人工智能，大型语言模型，复杂规划任务
主要内容
本文提出了一种名为AutoHD的新方法，用于增强大型语言模型（LLM）在复杂规划任务中的能力。该方法通过让LLM生成启发式函数来引导推理时搜索，从而实现中间状态的准确评估。这些启发式函数通过启发式进化过程进一步优化，以提高其鲁棒性和有效性。AutoHD无需额外的模型训练或微调，并提供了对推理过程的可解释性。
主要贡献
1. 提出了一种名为AutoHD的新方法，用于增强LLM在复杂规划任务中的能力。
2. 使用LLM生成启发式函数来引导推理时搜索，从而实现中间状态的准确评估。
3. 通过启发式进化过程进一步优化启发式函数，以提高其鲁棒性和有效性。
4. AutoHD无需额外的模型训练或微调，并提供了对推理过程的可解释性。
5. 在多个基准测试中，AutoHD在多个基线方法中取得了显著的性能提升。
研究方法
1. 启发式函数生成
2. 启发式进化过程
3. LLM推理时搜索
4. Greedy BFS搜索算法
5. A*搜索算法
实验结果
在Blocksworld、Game of 24和Rubik’s Cube等多个基准测试中，AutoHD在多个基线方法中取得了显著的性能提升，例如在Blocksworld中实现了近两倍的准确率。
未来工作
探索额外的搜索算法，以提高AutoHD的性能。研究如何将AutoHD应用于更复杂的规划任务，例如机器人导航和游戏策略。研究如何进一步优化启发式函数的生成和进化过程。