StructGS: Adaptive Spherical Harmonics and Rendering Enhancements for Superior 3D Gaussian Splatting
作者: Zexu Huang, Min Xu, Stuart Perry
发布时间: 2025-03-11
来源: arxiv
研究方向: 三维重建与渲染
主要内容
本文研究了如何通过改进三维高斯分裂技术（3DGS）来提高三维重建和渲染的质量。主要目标是减少计算冗余，提高细节捕捉能力，并支持从低分辨率输入生成高分辨率输出。
主要贡献
1. 提出了一个基于3DGS的改进框架StructGS，用于提高三维重建中的新型视图合成。
2. 使用基于补丁的结构相似性（SSIM）损失和总变差（TV）正则化器来捕获非局部结构信息并增强图像平滑度。
3. 设计了一种基于透明度和距离的动态调整策略，用于优化球谐函数的初始化和调整。
4. 集成了预训练的多尺度残差网络（MSRN）进行超分辨率，以从低分辨率输入生成高分辨率、高质量的图像。
研究方法
1. 3D高斯分裂（3DGS）技术
2. 基于补丁的SSIM损失
3. 总变差（TV）正则化器
4. 动态调整球谐函数的初始化策略
5. 预训练的多尺度残差网络（MSRN）
实验结果
实验结果表明，StructGS在多个数据集上显著优于现有技术，包括室内、室外和大规模场景。它生成了具有更高质量、更高分辨率和更详细内容的图像，同时减少了高频伪影。
未来工作
未来工作将包括扩展结构相似性指标的应用，改进球谐函数的动态调整策略，以及将MSRN集成到训练过程中以提高训练效率和渲染质量。