Multimodal Dreaming: A Global Workspace Approach to World Model-Based Reinforcement Learning
作者: Léopold Maytié, Roland Bertin Johannet, Rufin VanRullen
发布时间: 2025-03-03
来源: arxiv
研究方向: 人工智能与认知神经科学交叉领域，聚焦于基于世界模型的多模态强化学习
主要内容
该研究提出了一种结合全局工作空间（Global Workspace, GW）理论与世界模型（World Model）的强化学习（RL）方法，旨在通过模拟人类大脑中的多模态信息整合过程，提高强化学习算法的样本效率和鲁棒性。
主要贡献
1. 提出了一种名为GW-Dreamer的强化学习模型，该模型结合了全局工作空间和世界模型，实现了多模态信息的有效整合。
2. 通过实验验证了GW-Dreamer在样本效率和鲁棒性方面优于传统PPO和Dreamer算法。
3. 证明了全局工作空间在强化学习中的应用潜力，为认知神经科学领域提供了新的研究视角。
研究方法
1. 全局工作空间理论：将多个模态的信息编码到一个统一的潜在空间中，实现多模态信息的整合。
2. 世界模型：通过模拟环境动态，预测未来的状态和奖励，辅助决策。
3. Actor-Critic算法：学习策略，优化决策过程。
4. 对比损失和广播损失：用于训练全局工作空间模型，确保多模态信息能够被有效地整合。
实验结果
在Simple Shapes环境中，GW-Dreamer在样本效率和鲁棒性方面均优于其他模型。当其中一个模态信息丢失时，GW-Dreamer仍然能够保持较高的性能，证明了其鲁棒性。
未来工作
未来将研究GW-Dreamer在更复杂环境中的应用，并探索将全局工作空间理论与其他认知神经科学理论相结合的可能性。