ERUPT: Efficient Rendering with Unposed Patch Transformer
作者: Maxim V. Shugaev, Vincent Chen, Maxim Karrenbach, Kyle Ashley, Bridget Kennedy, Naresh P. Cuntoor
发布时间: 2025-04-02
来源: arxiv
研究方向: 计算机视觉、图像重建、3D场景生成
主要内容
该研究提出了一种名为ERUPT的基于隐式场景表示的3D场景重建模型，该模型能够利用未定位的图像高效地渲染新视图。ERUPT通过引入基于补丁的查询方法，提高了渲染效率，并在保持高图像质量的同时，大幅降低了计算需求。
主要贡献
1. 提出了一个高效的基于隐式场景表示的3D场景重建模型ERUPT。
2. 引入了基于补丁的查询方法，提高了渲染效率。
3. 设计了适用于未知输入姿态的图像合成模型架构。
4. 利用ERUPT研究了对抗学习和扩散渲染在隐式视图合成中的应用。
5. 构建了一个新的多场景视图合成数据集MSVS-1M。
研究方法
1. 使用Transformer和特征提取器进行图像特征提取。
2. 引入了可学习的隐式相机姿态，以处理未定位图像。
3. 使用基于补丁的解码策略，提高了计算效率。
4. 结合了对抗学习和扩散渲染技术来提升渲染质量。
实验结果
ERUPT在MSN数据集上达到了SOTA性能，在MSVS-1M数据集上也表现出良好的效果。与其他方法相比，ERUPT在计算效率、渲染质量和鲁棒性方面均有优势。
未来工作
未来将探索如何进一步提高ERUPT的渲染质量，以及如何将ERUPT应用于更多实际场景。