How to Move Your Dragon: Text-to-Motion Synthesis for Large-Vocabulary Objects

1. 贡献了一个增强的Truebones Zoo数据集，其中包含详细的文本描述，适用于文本驱动的运动合成。

2. 引入了骨骼增强技术，生成多样化的运动数据，同时保持一致的动力学，使模型能够适应各种骨骼配置。

3. 重新设计了现有的运动扩散模型，使其能够动态适应任意的骨骼模板，从而实现多样化物体和结构的运动合成。

4. 通过实验验证了该方法能够从文本描述中生成高保真运动，并应用于未见过的对象。

5. 发布了代码和数据管道，为多样化的物体和异构骨骼结构建立了运动合成的基准。

1. 数据增强：通过标注和注释Truebones Zoo数据集，引入骨骼增强技术，包括调整骨骼长度、数量和休息姿势。

2. 运动扩散模型：重新设计运动扩散模型，使其能够适应任意的骨骼模板。

3. 文本编码：使用SigLIP文本编码器对文本提示进行编码。

4. 树位置编码（TreePE）和休息姿势编码（RestPE）：编码骨骼配置信息。

5. 两阶段学习：第一阶段训练姿态扩散模型，第二阶段引入时间注意力块以捕获运动动力学。