Sim-to-Real Reinforcement Learning for Vision-Based Dexterous Manipulation on Humanoids

作者: Toru Lin, Kartik Sachdev, Linxi Fan, Jitendra Malik, Yuke Zhu

发布时间: 2025-02-28

来源: arxiv

研究方向: 机器人视觉与触觉操作，强化学习

主要内容

该论文研究了如何将强化学习应用于人形机器人进行基于视觉的灵巧操作，提出了从模拟到现实的学习方法，并通过实验验证了方法的有效性。

1. 提出了一种自动化的从现实到模拟的调整模块，将模拟环境与真实环境更紧密地匹配。

2. 设计了一种通用的奖励设计方案，简化了长时程接触丰富操作任务的奖励工程。

3. 提出了一种分而治之的蒸馏过程，在保持模拟到现实性能的同时提高了样本效率。

4. 使用稀疏和密集的对象表示的混合来弥合模拟到现实的感知差距。

1. 深度强化学习

2. 自动化的从现实到模拟的调整模块

3. 通用的奖励设计方案

4. 分而治之的蒸馏过程

5. 稀疏和密集的对象表示的混合

实验结果表明，所提出的方法在三个灵巧操作任务上取得了良好的结果，包括抓取、举起重物和双手交接。实验还表明，所提出的方法具有很好的泛化能力和鲁棒性。

未来工作将致力于改进每个组件，并释放模拟到现实强化学习的全部潜力。例如，可以通过集成更强的先验知识来改进奖励设计，例如从遥操作中收集的任务演示。此外，还需要解决动力学模拟和感知方面的模拟到现实差距问题。