A Multi-Agent DRL-Based Framework for Optimal Resource Allocation and Twin Migration in the Multi-Tier Vehicular Metaverse
作者: Nahom Abishu Hayla, A. Mohammed Seid, Aiman Erbad, Tilahun M. Getu, Ala Al-Fuqaha, Mohsen Guizani
发布时间: 2025-02-27
来源: arxiv
研究方向: 多层级车联网元宇宙中的资源分配和虚拟孪生迁移
主要内容
本文提出了一种基于多智能体深度强化学习（MADRL）的框架，用于在多层级车联网元宇宙中实现最优资源分配和虚拟孪生迁移。该框架集成了图卷积网络（GCN）、分层Stackelberg博弈激励机制和MADRL，旨在平衡多目标优化问题，如延迟降低、资源利用率和用户体验。
主要贡献
1. 提出了一种动态虚拟孪生迁移和资源分配框架，用于多层级车联网元宇宙，集成了GCN、分层Stackelberg博弈和MADRL，以实现实时决策和高效资源管理。
2. 引入了一种基于分层Stackelberg博弈的激励机制，用于战略决策，其中多个层级的实体（车辆、边缘和云层）设定其策略并优化系统中的响应。
3. 将虚拟孪生迁移和资源分配优化问题表述为马尔可夫决策过程（MDP），并采用MO-MADDPG算法来求解该优化问题。
4. 通过模拟和真实世界实验评估了所提出方法的性能和可扩展性。
研究方法
1. 图卷积网络（GCN）
2. 分层Stackelberg博弈激励机制
3. 多智能体深度强化学习（MADRL）
4. 多目标多智能体深度确定性策略梯度（MO-MADDPG）算法
5. 马尔可夫决策过程（MDP）
实验结果
通过模拟和真实世界实验，验证了所提出算法的有效性，结果表明，与现有方法相比，该算法在可扩展性、可靠性、效率以及延迟、资源利用率、迁移成本和整体用户体验方面均有显著提升。
未来工作
未来研究可以探索更先进的机器学习技术，如强化学习和深度学习，以进一步提高资源分配和虚拟孪生迁移的效率和可靠性。此外，还可以研究如何将所提出的方法应用于更广泛的场景，如智能交通系统、物联网和云计算。