LHM: Large Animatable Human Reconstruction Model from a Single Image in Seconds
作者: Lingteng Qiu, Xiaodong Gu, Peihao Li, Qi Zuo, Weichao Shen, Junfei Zhang, Kejie Qiu, Weihao Yuan, Guanying Chen, Zilong Dong, Liefeng Bo
发布时间: 2025-03-15
来源: arxiv
研究方向: 计算机视觉、3D建模、动画生成
主要内容
该论文提出了一种名为LHM（Large Animatable Human Reconstruction Model）的大规模可动人像重建模型，能够从单张图像中快速生成逼真的3D可动人像。
主要贡献
1. 提出了一种可泛化的大规模人像重建模型，能够在几秒钟内从单张图像中生成可动人像。
2. 设计了一种多模态人体转换器，能够通过注意力机制有效地融合3D表面点特征和图像特征，从而实现对服装几何和纹理的精细保存。
3. 在无骨架3D数据的大规模视频数据集上训练，实现了在真实图像上的最先进性能，在泛化和动画一致性方面超过了现有方法。
研究方法
1. 多模态转换器（MM-Transformer）
2. 头部特征金字塔编码（HFPE）
3. 线性混合蒙皮（LBS）
4. 3D高斯散布（3DGS）
5. 基于视图一致性的监督和正则化
6. 线性回归
实验结果
实验结果表明，LHM在合成数据集和真实世界图像数据集上都取得了最先进的性能，在重建精度、泛化和动画一致性方面均超过了现有方法。
未来工作
未来工作将着重于解决训练数据集中存在的视角偏差问题，开发改进的训练策略，并构建一个更加多样化、全面的数据集，以提高模型的鲁棒性。