PixelDance：字节跳动推出的豆包视频生成大模型

PixelDance：字节跳动推出的豆包视频生成大模型

PixelDance是什么？

PixelDance V1.4是ByteDance Research团队开发的 DiT 结构的视频生成大模型，同时支持文生视频和图生视频，能够一次性生成长达10秒的精彩视频片段。模型具备出色的语义理解能力，无论是复杂的故事叙述，还是细腻的情感表达，PixelDance V1.4 都能轻松应对。模型可完成时序性多拍动作，支持多主体复杂交互，还拥有丰富的运镜效果，多风格多比例兼容性强，能快速生成优质的视频片段，赋能影视创作，广告传媒，短视频，直播，电商等多个场景。

PixelDance的功能特性

精准的语义理解：

PixelDance 能够理解复杂的文本提示（Prompt），实现多个主体间的交互和多动作指令。例如，人物的交互、背景的动态行为都能通过一个简单的提示完成。

prompt：特写一个中国女人的面部。她有些生气地戴上了一副墨镜，一个中国男人从画面右侧走进来抱住了她。

强大动态与炫酷运镜并存：

针对高动态的复杂场景视频，模型设计了高效的DiT融合计算单元，使生成视频的动作更灵动，镜头更多样，表情更丰富，细节更丰满。支持超多镜头语言，灵活控制视角，带来真实世界的体验。

一致性多镜头生成：

全新设计的扩散模型训练方法使得模型具备一键生成故事性多镜头短片的能力，并且成功攻克了多镜头切换时一致性的技术挑战，可10秒讲述一个起承转合的故事。在一个prompt内实现多个镜头切换，同时保持主体，风格，氛围的一致性，让更多用户可以使用模型一键制作短片，实现导演自由。

多风格、多比例兼容：

深度优化后的Transformer结构，大大提升了视频生成的泛化能力，支持包括黑白、3d动画、2d动画、国画、水彩、水粉等多种风格，包含1:1、3:4、4:、16:9、9:16、21:9六个比例，带你领略更自由的世界。

PixelDance的应用场景

• 电商营销：用于制作吸引人的电商广告视频，展示产品在各种自然和现代设计元素中的效果。
• 动画教育：创造教育内容，例如动画故事，以吸引和教育儿童。
• 城市文旅：制作旅游宣传视频，展示城市的自然风光和现代建筑。
• 微剧本（音乐MV、微电影、短剧等）：用于创作音乐视频、微电影和短剧等，通过动态镜头和场景设计来增强故事表现力。

如何使用PixelDance？

PixelDance目前已上线到字节跳动旗下火山引擎平台，目前免费体验，每周 10 次体验机会，周一 00:00 自动刷新，本次免费体验有效期至2024年10月31日结束。