Multi-LLM Collaborative Search for Complex Problem Solving

作者: Sen Yang, Yafu Li, Wai Lam, Yu Cheng

发布时间: 2025-02-27

来源: arxiv

研究方向: 复杂问题解决中的多语言模型协同搜索

主要内容

本文提出了一种名为MOSA的新范式，通过结合多个语言模型的独立探索和迭代改进来增强推理多样性和准确性。MOSA利用蒙特卡洛树搜索（MCTS）作为基础，通过多个智能体提出和汇总推理步骤，从而提高推理准确性。

1. 提出了一种名为MOSA的新范式，通过结合多个语言模型的独立探索和迭代改进来增强推理多样性和准确性。

2. 通过实验验证了MOSA在复杂推理任务中的优越性，特别是在数学和常识推理任务中。

3. 通过分析实验结果，揭示了多智能体协作和基于搜索的推理之间的协同效应。

4. 通过消融实验，验证了MOSA作为提议者和聚合器的有效性。

5. 证明了MOSA可以与扩展的动作集兼容，并具有鲁棒性。

1. 蒙特卡洛树搜索（MCTS）

2. 多语言模型协同搜索

3. 神经网络聚合

4. 多数投票

5. 消融实验

MOSA在四个推理基准测试中均优于单语言模型和多智能体基线，特别是在复杂数学和常识推理任务中。实验结果表明，多智能体协作和基于搜索的推理具有协同效应，MOSA作为提议者和聚合器的有效性得到了验证。

未来工作可以探索以下方向：1）进一步优化MOSA的性能；2）将MOSA应用于其他推理任务；3）研究多智能体协作的机制；4）探索MOSA与其他推理方法的结合。