ETCH: Generalizing Body Fitting to Clothed Humans via Equivariant Tightness
作者: Boqian Li, Haiwen Feng, Zeyu Cai, Michael J. Black, Yuliang Xiu
发布时间: 2025-03-15
来源: arxiv
研究方向: 计算机视觉与3D人体建模
主要内容
该研究提出了一种名为ETCH的新方法，用于将3D服装人体点云与人体内部形状进行配准。ETCH通过局部近似SE(3)等变性和紧度向量来估计服装到身体的表面映射，从而实现对人体形状的精确拟合。
主要贡献
1. 提出了ETCH，一种新的配准方法，通过紧度等变位移向量来建模服装到身体的映射。
2. 在CAPE和4D-Dress数据集上进行了广泛的实验，结果表明ETCH在身体配准精度上显著优于现有方法。
3. 通过消融实验深入分析了每个组件的贡献，包括紧度、稀疏标记与密集对应、等变性特征和后细化等。
4. 通过在具有挑战性的姿势、极端形状、多样化服装和服装动态的情况下展示ETCH的强大泛化能力，证明了其有效性和鲁棒性。
研究方法
1. 使用局部近似SE(3)等变性来估计服装到身体的表面映射。
2. 将紧度编码为从服装表面到 underlying body 表面的位移向量。
3. 使用稀疏标记回归，将密集的内点聚合到体表上的稀疏标记集。
4. 使用加权聚合和紧度向量簇，将预测的内点与标记标签和置信度相结合，以准确回归最终的体标记。
5. 使用SMPL模型对最终的体标记进行优化，以获得最终的体模型。
实验结果
在CAPE和4D-Dress数据集上进行了广泛的实验，结果表明ETCH在身体配准精度上显著优于现有方法。在CAPE数据集上，ETCH将V2V误差降低了4.6%，MPJPE降低了31.3%；在4D-Dress数据集上，ETCH将V2V误差降低了16.7%，MPJPE降低了32.6%。
未来工作
未来将研究如何处理缺失的点云、如何将标记设置扩展到面部和手指、如何提高可扩展性，以及如何将“紧度向量”扩展到2D域等问题。