BEHAVIOR Robot Suite: Streamlining Real-World Whole-Body Manipulation for Everyday Household Activities
作者: Yunfan Jiang, Ruohan Zhang, Josiah Wong, Chen Wang, Yanjie Ze, Hang Yin, Cem Gokmen, Shuran Song, Jiajun Wu, Li Fei-Fei
发布时间: 2025-03-10
来源: arxiv
研究方向: 人机交互，机器人学，机器学习
主要内容
该论文提出了一种名为BEHAVIOR ROBOT SUITE (BRS)的框架，旨在通过结合硬件和软件创新，实现机器人对日常家庭任务的全身操作。BRS通过JoyLo和Whole-Body VisuoMotor Attention (WB-VIMA)算法，实现了机器人对家庭环境的导航、对象的抓取和放置，以及复杂任务的完成。
主要贡献
1. 提出了BRS框架，整合了硬件和软件创新，实现了机器人对家庭任务的全身操作。
2. 设计了JoyLo，一种低成本、通用的全身远程操作界面，提高了数据收集效率。
3. 开发了WB-VIMA算法，通过模仿学习，有效地学习了全身视觉运动策略。
4. 在五个具有挑战性的家庭任务上进行了实验，证明了BRS的有效性。
研究方法
1. JoyLo：一种低成本、通用的全身远程操作界面，通过3D打印臂和Joy-Con控制器实现。
2. WB-VIMA：一种基于模仿学习的算法，通过模仿人类操作，学习全身视觉运动策略。
3. Denoising Diffusion Probabilistic Model (DDPM)：用于训练WB-VIMA算法，通过迭代去噪过程学习数据分布。
4. Transformer：用于WB-VIMA算法中的多模态观察注意力机制，有效地融合多源信息。
实验结果
在五个具有挑战性的家庭任务上进行了实验，结果表明BRS能够有效地完成这些任务。WB-VIMA算法在所有任务中都优于基线方法，并且JoyLo在数据收集效率和用户友好性方面都优于其他界面。
未来工作
探索如何利用多机器人数据和多机器人迁移学习来提高BRS的性能。研究如何利用大型预训练模型来提高场景级别的泛化能力。探索如何利用合成数据和人类数据来提高学习效率。