AnyMoLe: Any Character Motion In-betweening Leveraging Video Diffusion Models
作者: Kwan Yun, Seokhyeon Hong, Chaelin Kim, Junyong Noh
发布时间: 2025-03-12
来源: arxiv
研究方向: 计算机视觉与动画
主要内容
本文提出了一种名为AnyMoLe的新型运动插值方法，旨在解决基于学习的人物运动插值中存在的关键限制，即需要特定角色的数据集。该方法利用视频扩散模型来生成任意角色的中间帧运动，无需外部数据。
主要贡献
1. 提出了一种基于视频扩散模型的任意角色运动插值方法，无需外部数据。
2. 引入了ICAdapt技术，用于缩小真实世界视频和渲染场景之间的领域差距。
3. 提出了“运动-视频模仿”优化技术，使具有任意关节结构的角色能够使用2D和3D感知特征生成无缝运动。
4. 提出了一个新的场景特定关节估计器，专门用于运动插值中的少量数据设置，并使用2D和3D感知特征进行有效的3D关节估计。
研究方法
1. 视频扩散模型
2. 两阶段帧生成过程
3. 推理阶段上下文自适应（ICAdapt）
4. 运动-视频模仿
5. 场景特定关节估计器
实验结果
实验结果表明，AnyMoLe在所有评估指标上均优于基线方法，包括旋转、位置和渲染图像相似度。此外，用户研究也表明，AnyMoLe生成的运动插值结果在相似性、忠实度和自然性方面都优于基线方法。
未来工作
未来工作可能包括训练一个上下文感知、角色无关的3D关节估计器，以减少训练场景特定关节估计器的计算时间，并提高对模糊帧的鲁棒性。