Tora-阿里推出的以轨迹为导向的AI视频生成框架

Tora-阿里推出的以轨迹为导向的AI视频生成框架

Tora是什么？

Tora是阿里巴巴推出的以轨迹为导向的基于扩散变换器（DiT）的视频生成框架，它能够整合文本、视觉和轨迹数据，精确控制视频内容的动态变化，在不同的时间长度、纵横比和分辨率条件下生成高质量的视频。Tora包括轨迹提取器和运动引导融合器，确保生成的视频能够精确地遵循预定义的轨迹，支持不同分辨率和时长的视频制作。

Tora的主要特点

• 轨迹控制：Tora能够确保视频中的动作精确地遵循预定义的轨迹，提供精确的运动控制。
• 高保真度：Tora生成的视频在视觉上具有高保真度，能够细致地模拟现实世界中的运动和动态。
• 多模态输入：Tora能够处理和整合文本、视觉和轨迹条件，使得视频生成过程更加丰富和灵活。
• 创新架构：Tora采用了Diffusion Transformer（DiT）架构，这是生成高质量视频内容的先进技术。
• 动态内容生成：它能够根据轨迹提取器（TE）和运动引导融合器（MGF）的协同工作，生成具有动态一致性的视频内容。
• 高分辨率和长时序视频：Tora支持生成高分辨率和长时序的视频，适用于需要长时间连续镜头的应用场景。

如何使用Tora？

Tora目前提供了论文和演示视频demo，暂未对外开放使用。感兴趣的话，可以访问下方地址了解。

• Tora项目官网：https://ali-videoai.github.io/tora_video
• 论文地址：https://arxiv.org/abs/2407.21705
• GitHub地址：https://github.com/ali-videoai/Tora