DiET-GS: Diffusion Prior and Event Stream-Assisted Motion Deblurring 3D Gaussian Splatting
作者: Seungjun Lee, Gim Hee Lee
发布时间: 2025-04-02
来源: arxiv
研究方向: 计算机视觉与图像处理
主要内容
该研究提出了一种名为DiET-GS的框架，用于从模糊的多视图图像中重建清晰的3D场景。该方法结合了基于事件的相机和扩散模型，以有效地去除运动模糊并恢复细节和颜色。
主要贡献
1. 提出了一种结合事件流和预训练扩散模型的框架，用于构建去模糊3DGS。
2. 采用两阶段训练策略，有效地利用真实捕获的数据和扩散先验。
3. 通过引入事件双积分(EDI)先验来约束3DGS，以实现精确的颜色和清晰的细节。
4. 提出了一种简单的技术来利用扩散先验以进一步增强边缘细节。
5. 在合成和真实世界数据集上进行了实验，结果表明DiET-GS在生成高质量新视图方面优于现有基线。
研究方法
1. 事件相机模型
2. 扩散模型
3. 3D高斯分层(3DGS)
4. 事件双积分(EDI)
5. Renoised Score Distillation (RSD)
6. 结构从运动(SfM)
实验结果
在合成和真实世界数据集上进行的实验表明，DiET-GS在PSNR、SSIM和LPIPS等指标上优于所有基线，在MUSIQ和CLIP-IQA等NR-IQA指标上也取得了显著的改进。
未来工作
未来工作可以探索如何将DiET-GS扩展到更复杂的场景，例如具有非均匀运动和噪声事件的场景。此外，可以研究如何进一步提高模型的效率，以便在实时应用中使用。