LightMotion: A Light and Tuning-free Method for Simulating Camera Motion in Video Generation

作者: Quanjian Song, Zhihang Lin, Zhanpeng Zeng, Ziyue Zhang, Liujuan Cao, Rongrong Ji

发布时间: 2025-03-12

来源: arxiv

研究方向: 视频生成与摄像机运动模拟

主要内容

该研究提出了一种名为LightMotion的新方法，用于在视频生成中模拟摄像机运动。该方法在潜在空间中操作，无需额外的微调、修复或深度估计，从而比现有方法更加高效。

1. 提出了一种在潜在空间中模拟摄像机运动的轻量级、无需微调的方法。

2. 通过潜在空间重排操作模拟各种摄像机运动，如平移、缩放和旋转。

3. 引入了背景感知采样和跨帧对齐策略，以准确填充新视角并保持帧间一致性。

4. 提出了潜在空间校正机制，以减轻SNR偏移并提高视频生成质量。

5. 通过实验证明了LightMotion在定量和定性方面均优于现有方法。

1. 潜在空间重排操作

2. 潜在空间重采样策略

3. 背景感知采样

4. 跨帧对齐策略

5. 潜在空间校正机制

实验结果表明，LightMotion在生成质量、摄像机可控性和用户满意度方面均优于现有方法。此外，LightMotion还支持各种用户定义的参数组合，进一步证明了其灵活性和多功能性。

研究团队计划探索更有效的策略来模拟高速摄像机运动，并开发更高效的机制来校正SNR偏移。