dARt Vinci: Egocentric Data Collection for Surgical Robot Learning at Scale
作者: Yihao Liu, Yu-Chun Ku, Jiaming Zhang, Hao Ding, Peter Kazanzides, Mehran Armand
发布时间: 2025-03-10
来源: arxiv
研究方向: 机器人学习，特别是手术机器人学习
主要内容
dARt Vinci是一个用于手术机器人学习的可扩展数据收集平台，通过使用增强现实（AR）手部追踪和高保真物理引擎来捕捉基础手术任务中的微妙动作。该系统消除了对物理机器人设置的需求，并提供了时间、空间和硬件资源方面的灵活性，从而使得专业模拟成为可行的替代方案。
主要贡献
1. 提供了一个针对手术任务仿射或强化学习的以自我为中心的数据收集平台，并通过用户研究验证了其效率和可用性。
2. 系统不受真实手术机器人的限制，可以在任何有AR头盔和PC的设置中使用，以便进行大规模数据收集。
3. 设计了基于文本的数据格式，以较小的存储空间代替大量视频数据，产生的紧凑数据可以在高保真物理引擎中重新播放，以获得训练前的视频。
研究方法
1. 使用AR头盔进行手部追踪和场景实体可视化。
2. 使用高保真物理引擎进行模拟和实时数据收集。
3. 使用OpenXR手部骨骼约定进行手部动作捕捉。
4. 使用逆运动学求解器将手部动作映射到机器人动作。
5. 使用IsaacSim作为物理引擎，并开发了用于简化场景管理和重置的自定义扩展。
6. 通过用户研究评估数据收集效率、数据吞吐量和可用性。
实验结果
与真实机器人设置相比，在所有任务中，数据吞吐量平均提高了41%。总实验时间平均减少了10%。任务负载调查中的时间需求得到改善。这些收益具有统计学意义。此外，收集的数据大小超过400倍，存储需求减少，同时频率加倍。
未来工作
扩大用户研究以验证可用性，特别是针对专家和新手用户。提高模拟器的保真度，特别是在涉及切割和穿透可变形材料的任务中。将收集的数据与现有的仿射和强化学习算法进行基准测试。