GarmentCrafter: Progressive Novel View Synthesis for Single-View 3D Garment Reconstruction and Editing
作者: Yuanhao Wang, Cheng Zhang, Gonçalo Frazão, Jinlong Yang, Alexandru-Eugen Ichim, Thabo Beeler, Fernando De la Torre
发布时间: 2025-03-12
来源: arxiv
研究方向: 3D服装重建与编辑
主要内容
GarmentCrafter是一种基于单视图图像的3D服装重建和编辑方法，通过渐进式新颖视图合成，实现对服装的精确几何和纹理重建，并支持用户在单视图图像上进行2D编辑，这些编辑会无缝应用到3D模型上。
主要贡献
1. 提出了一种渐进式新颖视图合成方法，提高了视图间的连贯性。
2. 实现了从单视图图像到3D服装的精确重建。
3. 允许用户在单视图图像上进行2D编辑，并确保这些编辑在3D模型上的精确反映。
4. 在几何精度、视觉效果和视图间连贯性方面优于现有的2D到3D服装重建方法。
研究方法
1. 渐进式深度预测和图像扭曲来近似新颖视图。
2. 多视图扩散模型来补充遮挡和未知服装区域。
3. 使用深度信息来引导跨视图对齐。
4. 通过预定义的相机轨迹，逐步合成视图和深度，从而逐步细化服装的几何和纹理。
实验结果
在多个数据集上进行的实验表明，GarmentCrafter在几何精度、视觉效果和视图间连贯性方面优于现有的2D到3D服装重建方法。此外，实验还表明，GarmentCrafter能够有效地处理具有复杂纹理和几何结构的服装图像。
未来工作
未来将研究如何将GarmentCrafter应用于非静止姿势的服装，以及如何处理服装的内部结构和层次。