VLMs Play StarCraft II: A Benchmark and Multimodal Decision Method
作者: Weiyu Ma, Yuqian Fu, Zecheng Zhang, Guohao Li
发布时间: 2025-03-10
来源: arxiv
研究方向: 多模态游戏人工智能与多智能体强化学习
主要内容
该研究提出了一种名为VLM-Attention的多模态StarCraft II环境，旨在使人工智能代理的感知与人类游戏体验相一致。该环境通过结合RGB视觉输入和自然语言观察，更接近人类在游戏中的认知过程，从而解决传统框架中抽象状态表示与人类感知之间的差异。
主要贡献
1. 提出了一种多模态的StarCraft II环境，将代理的感知与人类认知过程相一致。
2. 开发了一种综合的VLM-based代理架构，结合了自注意力机制、检索增强生成和动态角色分配，以实现有效的战术决策。
3. 提供了实证证据，证明了基于VLM的代理在执行复杂的StarCraft II微管理任务时，无需大量训练即可有效执行，与传统需要大量训练迭代的MARL方法相比，性能相当。
研究方法
1. VLM-Attention框架包括三个集成组件：1) 用于战略单位定位和战场评估的视觉语言模型，增强了专门的自我注意力机制；2) 利用特定于StarCraft II的知识来指导战术决策的检索增强生成系统；3) 允许协调多智能体行为的动态基于角色的任务分配系统。
2. 实验评估涵盖了21个自定义场景，以验证该框架的有效性。
3. 使用GPT-4-Turbo、GPT-4o、GPT-4o-mini和Qwen-VL-Plus等基础模型进行实验。
4. 进行了消融研究，以调查框架中每个关键组件的贡献：VLM-Attention机制、RAG系统和角色分配模块。
实验结果
实验结果表明，基于VLM的代理在执行复杂的战术动作时，无需显式训练，在12个微管理场景中表现出色。VLM-Attention机制在复杂场景中特别有效，而RAG系统提供了必要的领域知识支持，角色分配模块进一步增强了单位之间的协调。不同VLM模型在性能、速度和成本之间表现出重要的权衡。
未来工作
未来工作将集中在扩展系统功能，并在更复杂的场景中评估其有效性。这包括提高VLM对空间动态的理解，改善实时控制，以及更有效地应用领域知识。