The Society of HiveMind: Multi-Agent Optimization of Foundation Model Swarms to Unlock the Potential of Collective Intelligence
作者: Noah Mamie, Susie Xi Rao
发布时间: 2025-03-10
来源: arxiv
研究方向: 人工智能、多智能体系统、集体智能
主要内容
本文提出了一种名为“蜂群智能社会”（SOHM）的框架，通过多个AI基础模型之间的交互，模拟自然界中动物群体的行为，以实现集体智能。该框架旨在解决人工智能基础模型的可访问性和可扩展性问题，并通过多智能体系统来提高集体推理能力。
主要贡献
1. 提出了一种名为SOHM的框架，用于优化多个AI基础模型之间的交互。
2. 引入了无梯度遗传优化器和混合优化方法，以增强可扩展性。
3. 在MMLU和MMLU-Pro基准测试中，SOHM的性能优于现有的协调模型和单个代理基线。
4. 对SOHM进行了全面的效率分析，揭示了AI驱动的逻辑推理。
5. 发布了开源实现，以实现可重复性。
研究方法
1. 进化学习
2. 群智能
3. 多智能体系统
4. 图神经网络
5. 遗传算法
6. 梯度上升
7. REINFORCE算法
8. 基线方法
实验结果
在MMLU基准测试中，SOHM的性能略低于单个代理基线，但在MMLU-Pro基准测试中，SOHM的性能优于单个代理基线和现有的多智能体系统。这表明SOHM在需要密集逻辑推理的任务中具有优势。
未来工作
探索群模型的可扩展性，整合多样化的AI基础模型，同时保持算法设计中的复杂性和鲁棒性平衡。研究如何优化模型选择，将多样化多模态模型整合到特定任务和代理中。探索优化AI群拓扑结构，以平衡通信效率和处理性能。