Multi-Robot Collaboration through Reinforcement Learning and Abstract Simulation

作者: Adam Labiosa, Josiah P. Hanna

发布时间: 2025-03-10

来源: arxiv

研究方向: 机器人强化学习与多智能体协作

主要内容

本文研究了在抽象模拟环境中通过多智能体强化学习（MARL）训练机器人协作行为，并使这些行为转移到物理机器人上。研究主要探索了抽象模拟器的适用性以及如何通过模拟器精确性和训练优化来实现模拟到现实的迁移。

1. 证明了在抽象模拟器中训练的多智能体策略可以成功转移到实体机器人。

2. 确定了使模拟器现实性和MARL训练改进的关键因素，以实现无样本迁移到物理机器人。

3. 进行了广泛的消融研究，以确定促进使用抽象模拟器训练多机器人控制策略的关键属性。

4. 证明了该方法产生的策略可以与RoboCup标准平台联赛冠军的精心调优行为架构相媲美。

1. 使用低保真模拟器进行MARL训练

2. 通过调整模拟器精确性和训练优化来提高模拟到现实的迁移能力

3. 引入模拟随机性以增强策略的鲁棒性

4. 使用PPO算法进行多智能体强化学习

5. 在物理机器人上评估策略表现

实验结果表明，在抽象模拟器中训练的多智能体策略可以成功转移到实体机器人上，并在物理机器人上实现了良好的协作行为。消融研究表明，模拟器精确性、训练优化和模拟随机性是促进模拟到现实迁移的关键因素。

未来的工作将扩展到更复杂的机器人足球场景，研究对抗性智能体的情况，并进一步研究模拟器精确性和训练优化的一般化方法。此外，还将考虑理论基础的构建，以深入了解为什么某些模拟方面可以减少世界模型的准确性并提高性能。