ARIES: Autonomous Reasoning with LLMs on Interactive Thought Graph Environments
作者: Pedro Gimenes, Zeyu Cao, Jeffrey Wong, Yiren Zhao
发布时间: 2025-03-03
来源: arxiv
研究方向: 大型语言模型（LLM）在推理任务中的应用
主要内容
本文提出了一种名为ARIES的多智能体架构，旨在利用大型语言模型（LLM）在推理任务中的能力。ARIES通过将思维图转换视为马尔可夫决策过程中的动作，实现政策智能体来驱动推理智能体的有效动作策略。
主要贡献
1. 引入了ARIES，一种用于自主拓扑推理的新型方法，使整个推理任务都由LLM引导。
2. 证明了LLM具有规划能力，可以作为拓扑推理任务中的政策智能体，从而消除了对推理智能体预先设定的、特定于任务的调度方案的需求。
3. 在一系列基准测试中展示了LLM引导的思维图探索如何提高至高达29%的准确率，同时将推理成本降低35%，并避免了任何贝叶斯搜索成本。
研究方法
1. 将思维图转换视为马尔可夫决策过程中的动作。
2. 实现政策智能体来驱动推理智能体的有效动作策略。
3. 使用LLM作为政策智能体，无需监督微调（SFT）。
4. 使用多智能体架构，其中推理LLM智能体解决分解的子问题，而策略LLM智能体维护思维图状态的可视性，并动态调整问题解决策略。
5. 使用政策智能体集合来减少随机性并提高决策的稳定性。
实验结果
实验结果表明，与静态转换方案相比，使用现成的LLM作为政策智能体可以显著提高准确率并降低推理成本。此外，还发现LLM参数大小和问题分解的深度是影响LLM引导推理的扩展性的主要因素。
未来工作
未来工作可以探索以下方面：1）将ARIES应用于更广泛的推理任务和领域；2）研究如何进一步提高LLM作为政策智能体的性能；3）探索如何降低LLM推理的成本和能耗。