Free360: Layered Gaussian Splatting for Unbounded 360-Degree View Synthesis from Extremely Sparse and Unposed Views
作者: Chong Bao, Xiyu Zhang, Zehao Yu, Jiale Shi, Guofeng Zhang, Songyou Peng, Zhaopeng Cui
发布时间: 2025-04-02
来源: arxiv
研究方向: 三维重建与渲染
主要内容
本文提出了一种名为Free360的新型神经网络渲染框架，用于从极稀疏和无姿态的视角中重建和解算无界360度场景。该框架能够有效地解决无界场景中空间模糊性问题，并通过迭代融合重建和生成过程，实现高质量的三维重建和新型视图合成。
主要贡献
1. 提出了一种新的神经网络渲染框架，用于无界360度场景的无姿态和极稀疏视角的三维重建。
2. 提出了一种基于分层高斯表示的方法，以解决无界场景中空间模糊性问题。
3. 引入了层特定引导优化技术，以细化分层表示中的重建误差。
4. 设计了重建和新型视图生成之间的迭代融合策略，以促进两个过程之间的相互条件和增强。
5. 提出了一个不确定性感知训练技术，以减少误差传播并确保稳健的重建。
研究方法
1. 分层高斯表示
2. 层特定引导优化
3. 迭代融合重建和生成
4. 不确定性感知训练
实验结果
在Mip-NeRF 360和Tanks and Temples数据集上进行的实验表明，Free360在渲染质量和表面重建精度方面优于现有方法。此外，消融实验表明，每个组件都可以有效地提高重建质量。
未来工作
将增强的视频扩散模型集成到框架中，以进一步提高重建质量。此外，探索解决具有广泛重复纹理的场景，这些场景中立体重建模型无法进行忠实全局重建。