Pre-training with 3D Synthetic Data: Learning 3D Point Cloud Instance Segmentation from 3D Synthetic Scenes
作者: Daichi Otsuka, Shinichi Mae, Ryosuke Yamada, Hirokatsu Kataoka
发布时间: 2025-04-03
来源: arxiv
研究方向: 三维点云实例分割与生成模型
主要内容
该研究提出了一种基于生成模型（Point-E）的3D点云实例分割模型预训练方法，通过使用3D合成数据来扩展3D场景数据集，并在此基础上进行模型训练，以提高3D点云实例分割的准确性。
主要贡献
1. 提出了一种基于3D合成数据的3D点云实例分割模型预训练方法。
2. 利用Point-E生成模型自动合成3D对象实例，扩展3D场景数据集。
3. 通过在扩展后的数据集上预训练和微调模型，提高了3D点云实例分割的准确性。
4. 证明了3D生成模型在3D点云实例分割中的有效性。
研究方法
1. 使用Point-E生成模型自动生成3D对象实例。
2. 将生成的3D对象实例随机放置在现有的3D场景数据集中。
3. 在扩展后的数据集上使用Mask3D模型进行预训练。
4. 在S3DIS数据集上进行模型微调。
实验结果
实验结果表明，与从头开始训练和仅使用ScanNetV2进行预训练相比，使用3D合成数据进行预训练的方法在S3DIS数据集上的平均精度（AP）提高了2.9个点。此外，在13个对象实例类别中有7个类别的AP最高，证明了该方法的有效性。
未来工作
未来工作可以包括使用更先进的3D生成模型，调整每个场景中对象实例的数量，以及探索3D合成数据在更多场景下的应用。