Sim-and-Real Co-Training: A Simple Recipe for Vision-Based Robotic Manipulation
作者: Abhiram Maddukuri, Zhenyu Jiang, Lawrence Yunliang Chen, Soroush Nasiriany, Yuqi Xie, Yu Fang, Wenqi Huang, Zu Wang, Zhenjia Xu, Nikita Chernyadev, Scott Reed, Ken Goldberg, Ajay Mandlekar, Linxi Fan, Yuke Zhu
发布时间: 2025-04-02
来源: arxiv
研究方向: 机器人学与机器学习
主要内容
本文研究了如何有效地利用由物理模拟生成的数据来解决现实世界的视觉机器人操作任务。作者提出了一种将模拟数据和现实世界数据结合的协同训练方法，以解决现实世界数据收集的挑战。
主要贡献
1. 建立了一个系统性的研究，用于在真实机器人和模拟数据上协同训练，从而为现实世界操作提供了一种简单的配方。
2. 通过实验证明了在合成模拟数据上协同训练可以广泛地促进下游现实世界任务的策略学习，在两个领域平均提高了38%的性能。
3. 揭示了哪些类型的模拟数据对于模拟和现实协同训练最为有效，并发现即使与真实世界数据存在显著差异，模拟数据也能提供实质性的好处，并且多样化的模拟数据可以促进对现实世界中未见场景的泛化。
研究方法
1. 协同训练：结合模拟数据和现实世界数据来训练策略。
2. 任务感知模拟：创建与真实世界任务具有相同语义的模拟数据。
3. 任务无关模拟：使用预先存在的模拟数据，这些数据不针对特定任务。
4. 数据合成：使用自动化工具生成大量高质量的模拟数据。
5. 性能评估：在真实世界任务上评估策略的性能。
实验结果
实验结果表明，与仅使用真实数据的策略相比，协同训练策略在多个任务上显著提高了性能。此外，研究发现，即使模拟数据和真实世界数据之间存在显著差异，模拟数据也能提供实质性的好处，并且多样化的模拟数据可以促进对现实世界中未见场景的泛化。
未来工作
未来工作将包括将该方法扩展到更广泛的操作任务，例如高精度插入和长期任务。此外，将探索使用协同训练数据生成模型和世界模型来解决涉及可变形物体和液体的任务。