Sim-and-Real Co-Training: A Simple Recipe for Vision-Based Robotic Manipulation
作者: Abhiram Maddukuri, Zhenyu Jiang, Lawrence Yunliang Chen, Soroush Nasiriany, Yuqi Xie, Yu Fang, Wenqi Huang, Zu Wang, Zhenjia Xu, Nikita Chernyadev, Scott Reed, Ken Goldberg, Ajay Mandlekar, Linxi Fan, Yuke Zhu
发布时间: 2025-04-03
来源: arxiv
研究方向: 机器人视觉操作与模拟数据利用
主要内容
该研究旨在通过结合模拟数据和真实世界数据来训练机器人视觉操作策略，以减少对真实世界数据的依赖，并提高机器人操作的性能和泛化能力。
主要贡献
1. 提出了一种简单的协同训练方法，通过在模拟数据和真实世界数据之间进行训练，显著提高了机器人视觉操作策略的性能。
2. 验证了协同训练策略在各种模拟和真实世界数据集上的有效性，并证明了模拟数据可以增强真实世界任务性能的平均值达到38%。
3. 研究了不同类型的模拟数据对于协同训练的有效性，并发现即使在模拟数据和真实世界数据之间存在显著差异的情况下，模拟数据也能提供实质性的好处。
4. 提供了一个简单的协同训练方法，以利用模拟数据解决基于视觉的机器人操作任务，并通过实验证明了其有效性。
研究方法
1. 协同训练：通过在模拟数据和真实世界数据之间进行训练，结合两者的优势，提高机器人操作策略的性能。
2. 任务感知模拟数据：创建与真实世界任务语义相似的模拟环境，以提高模拟数据的实用性。
3. 任务非感知模拟数据：利用已有的模拟数据集，以减少数据收集的成本和时间。
4. 自动化数据生成：使用合成数据生成工具生成大量的模拟数据，以补充真实世界数据。
5. 实验评估：通过在真实世界任务上评估策略的性能，来验证协同训练方法的有效性。
实验结果
实验结果表明，协同训练方法可以显著提高机器人视觉操作策略的性能，并且在真实世界任务上的表现优于仅使用真实世界数据进行训练的策略。此外，实验还证明了模拟数据可以增强策略对未见场景的泛化能力。
未来工作
未来工作将包括将该方法扩展到更广泛的操作任务，例如高精度插入和长期任务，以及探索使用视频生成模型和世界模型来生成协同训练数据，以进一步缩小模拟和真实世界之间的差距。