Combining Planning and Reinforcement Learning for Solving Relational Multiagent Domains

作者: Nikhilesh Prabhakar, Ranveer Singh, Harsha Kokel, Sriraam Natarajan, Prasad Tadepalli

发布时间: 2025-02-27

来源: arxiv

研究方向: 多智能体强化学习（MARL）与关系强化学习（RRL）

主要内容

该研究提出了一种名为 MaRePReL 的多智能体关系规划与强化学习框架，旨在解决关系多智能体领域的挑战。该框架结合了关系规划和强化学习，通过分解任务、抽象状态空间和使用深度强化学习来提高样本效率和促进任务迁移和泛化。

1. 提出了一种结合关系规划和强化学习的多智能体系统，以解决关系多智能体领域的问题。

2. 开发了 MaRePReL，一个集成规划和学习架构，能够处理关系域中的不确定性。

3. 在几个关系多智能体领域中证明了该方法的有效性和泛化能力。

1. 关系层次规划

2. 任务分配

3. 抽象推理

4. 深度强化学习

实验结果表明，与传统的 MARL 方法相比，MaRePReL 在样本效率、迁移能力和泛化能力方面都有显著提升。

未来工作将包括扩展框架以处理更复杂的任务，以及将方法应用于部分可观察状态空间。此外，研究将探索构建完全可微分的系统，以提高效率和可扩展性。