Humanoid-VLA: Towards Universal Humanoid Control with Visual Integration

作者: Pengxiang Ding, Jianfei Ma, Xinyang Tong, Binghong Zou, Xinxin Luo, Yiguo Fan, Ting Wang, Hongchao Lu, Panzhong Mo, Jinxin Liu, Yuefan Wang, Huaicheng Zhou, Wenshuo Feng, Jiacheng Liu, Siteng Huang, Donglin Wang

发布时间: 2025-02-24

来源: arxiv

研究方向: 人形机器人控制与视觉融合

主要内容

本文提出了一种名为Humanoid-VLA的框架，旨在解决当前人形机器人控制框架的局限性，例如主要依赖反应机制和数据稀缺导致的缺乏自主交互能力。该框架通过结合语言理解、自视角场景感知和运动控制，实现了通用人形机器人控制。

主要贡献

1. 提出了一种结合语言理解、自视角场景感知和运动控制的通用人形机器人控制框架

2. 通过非自视角人类运动数据集和文本描述进行语言-运动预对齐，使模型能够学习通用的运动模式和动作语义

3. 引入了一种参数高效的基于视频的条件微调，以实现上下文感知的运动生成

4. 提出了一种自监督数据增强策略，自动从运动数据生成伪标注

5. 在全身控制架构上进行了实验，展示了Humanoid-VLA在对象交互和环境探索任务中的上下文感知能力，证明了人形机器人自适应和智能参与的能力

研究方法

1. 语言-运动预对齐

2. 基于视频的条件微调

3. 自监督数据增强

4. 全身控制器

实验结果

实验结果表明，Humanoid-VLA在运动生成质量和执行成功率方面均表现出色，证明了其在真实人形机器人上的高效性。在视觉集成方面的评估也表明，该模型能够有效地利用视觉信息来生成适当的动作。

未来工作

未来将致力于提高人形机器人在执行更复杂的位置操作任务中的成功率，以及进一步优化训练方法，以充分利用现有数据。