Learning 3D-Gaussian Simulators from RGB Videos

作者: Mikel Zhobro, Andreas René Geist, Georg Martius

发布时间: 2025-04-02

来源: arxiv

研究方向: 计算机视觉与机器人学

主要内容

该研究提出了一种名为3DGSim的3D物理模拟器，可以从多视角RGB视频中学习物体动力学。该模型通过将图像编码为3D高斯粒子表示，利用Transformer进行动力学传播，并通过3D高斯喷射进行渲染，实现了对物体运动和场景的逼真模拟。

1. 从RGB视频中直接学习物体动力学，无需访问网格或深度相机。

2. 使用3D高斯点云代替传统的点云，提高了模型的可扩展性。

3. 引入时间编码和合并层，提高了Transformer处理非结构化点云嵌入的效率。

4. 联合训练逆渲染和动力学模型，将物理属性嵌入到点状潜在向量中。

5. 提出开源数据集和代码，促进了该领域的进一步研究。

1. 3D高斯粒子表示

2. Transformer架构

3. 3D高斯喷射渲染

4. 点云序列化

5. 逆渲染

6. 时间编码和合并

3DGSim在刚性、弹性布料等不同类型的物体动力学模拟中表现出色，能够捕捉复杂的物理现象，如阴影、反射等。实验结果表明，该模型在物理真实性和视觉效果方面都优于其他现有方法。

未来将探索在更大规模的数据集上训练3DGSim，并考虑将语言嵌入引入模拟器中，以更好地理解物体的物理属性。