Physics-Driven Data Generation for Contact-Rich Manipulation via Trajectory Optimization

作者: Lujie Yang, H. J. Terry Suh, Tong Zhao, Bernhard Paus Graesdal, Tarik Kelestemur, Jiuguang Wang, Tao Pang, Russ Tedrake

发布时间: 2025-02-28

来源: arxiv

研究方向: 机器人学，数据生成，轨迹优化

主要内容

本文提出了一种结合基于物理的模拟、人类演示和基于模型的规划的低成本数据生成流程，用于生成大规模、高质量的接触丰富机器人操作任务数据集。该流程从少量在虚拟现实环境中收集的具有身体灵活性的人类演示开始，使用基于优化的运动学重定位和轨迹优化来对这些演示进行细化，以适应各种机器人身体和物理参数。

1. 提出了一个直观、身体灵活的基于虚拟现实和物理模拟的演示界面，用于收集灵活的接触丰富操作数据。

2. 提出了一种可扩展的框架，利用轨迹优化将少量人类演示转换为大规模、物理一致的数据集，实现跨身体、初始条件和物理参数的泛化。

3. 通过在多个机器人平台上（包括双臂机器人臂和浮动基Allegro手）进行具有挑战性的接触丰富操作任务的训练来验证了该方法。

4. 在双臂iiwa臂上实现了零样本硬件部署，突出了增强数据集在现实场景中的实用性。

1. 基于物理的模拟

2. 人类演示

3. 模型规划

4. 轨迹优化

5. 运动学重定位

6. 行为克隆

7. 扩散策略学习

实验结果表明，该流程能够有效地生成大量动态可行、接触丰富的轨迹，并成功训练了在多个机器人平台上表现良好的策略。在双臂iiwa臂上的零样本硬件部署中，该策略实现了高成功率，证明了增强数据集在现实场景中的实用性。

未来的工作可以探索将自动化数据生成框架应用于身体感知的旧数据集，以更好地捕捉不同机器人系统的独特运动能力。此外，可以探索更先进的规划技术，以提高学习策略在状态空间未访问区域的鲁棒性。还可以将框架扩展到训练视觉运动策略，通过在模拟中结合高质量的合成渲染来进一步提高策略的可迁移性。