A Light and Tuning-free Method for Simulating Camera Motion in Video Generation

作者: Quanjian Song, Zhihang Lin, Zhanpeng Zeng, Ziyue Zhang, Liujuan Cao, Rongrong Ji

发布时间: 2025-03-11

来源: arxiv

研究方向: 视频生成与摄像机运动模拟

主要内容

本文提出了一种名为LightMotion的轻量级、无需微调的摄像机运动模拟方法，用于视频生成。该方法通过在潜在空间中操作，避免了额外的微调、修复和深度估计，从而简化了流程。

1. 在潜在空间中实现摄像机运动模拟，如平移、缩放和旋转。

2. 采用潜在空间重采样策略，结合背景感知采样和跨帧对齐，以准确填充新视角并保持帧间一致性。

3. 通过在去噪过程中重新引入噪声来减轻SNR偏移，从而提高视频生成质量。

4. 在定量和定性方面均优于现有方法。

1. 潜在空间排列操作

2. 潜在空间重采样策略

3. 背景感知采样

4. 跨帧对齐策略

5. 潜在空间校正机制

LightMotion在生成质量、摄像机可控性和用户研究中均优于现有方法。实验结果表明，LightMotion能够有效地模拟各种摄像机运动，并生成高质量的视频。

探索更有效的策略来模拟高速摄像机运动，以及更高效的机制来校正SNR偏移。