A Cascading Cooperative Multi-agent Framework for On-ramp Merging Control Integrating Large Language Models

作者: Miao Zhang, Zhenlong Fang, Tianyi Wang, Qian Zhang, Shuai Lu, Junfeng Jiao, Tianyu Shi

发布时间: 2025-03-12

来源: arxiv

研究方向: 智能交通系统与多智能体强化学习

主要内容

本文提出了一种名为CCMA（级联协作多智能体）的框架，旨在通过结合强化学习（RL）和大型语言模型（LLM）来改善高速公路入口合并控制。该框架将多智能体优化问题分为三个级别：个体、区域和全局，并采用不同的方法来优化每个级别。

1. 提出了一个级联协作多智能体（CCMA）框架，将RL和LLM结合使用，以实现多智能体优化。

2. 通过将多智能体优化问题分为个体、区域和全局三个级别，提高了优化效率。

3. 将LLM用于区域和全局优化，提高了智能体的协调性和决策能力。

4. 通过实验验证了CCMA框架在高速公路入口合并控制任务中的有效性，并优于现有方法。

1. 强化学习（RL）用于个体优化。

2. 微调的大型语言模型（LLM）用于区域优化。

3. 检索增强生成（RAG）策略用于全局优化。

4. 多智能体马尔可夫决策过程（MMDP）用于建模。

5. 联合奖励函数用于引导智能体行为。

实验结果表明，CCMA框架在高速公路入口合并控制任务中取得了显著的性能提升，包括更高的合并成功率、更低的碰撞率和更高的交通效率。

未来的工作将集中在以下方面：改进协调机制，探索不同交通场景对系统性能的影响，以及将CCMA框架应用于更广泛的智能交通系统任务。