PortraitGen-中科大推出的AI人像视频编辑工具

PortraitGen-中科大推出的AI人像视频编辑工具

PortraitGen是什么？

PortraitGen是由中国科学技术大学开发的AI人像视频编辑工具，它可以将2D人像视频提升为4D高斯场，实现高质量的3D一致性和时间一致性的视频编辑。该工具能够通过多种输入方式（如文本或图像）编辑视频中的人像，广泛应用于影视制作、广告创作、虚拟形象定制等领域。

PortraitGen的主要功能

• 多模态人像编辑：PortraitGen提供了文本驱动和图像驱动两种编辑模式，使用户能够灵活地编辑视频中的人像。在文本驱动模式下，用户可以通过输入文字描述来指定人物的动作、表情以及场景的变化。而在图像驱动模式下，用户则可以利用参考图像来实现风格转换或进行虚拟试穿等操作，从而创造出个性化和多样化的视频内容。
• 光照调节（Relighting）：PortraitGen利用IC-Light技术，基于文本描述动态调整视频中的光照效果，使光照与场景自然融合。
• 人脸感知编辑：PortraitGen通过面部感知编辑模块，确保在视频编辑过程中，保留人物的面部结构和个性化特征。该功能还能优化人物的表情和面部动作的自然性和一致性。
• 风格转换与虚拟试穿：PortraitGen支持风格转换和虚拟试穿，用户可以通过参考图像实现全局风格的迁移（如转换为动画风格），或为视频中的人物添加虚拟服装等物品，应用于时尚广告或虚拟服装试穿场景。
• 多镜头和复杂场景处理：PortraitGen能够处理多镜头视频，保持风格、人物一致性，并且可以通过高斯纹理技术实现复杂风格的视频渲染，如乐高风格或像素艺术风格。
• 快速生成与高帧率输出：PortraitGen 能够在短时间内完成编辑，生成视频时支持高达100帧每秒（FPS）的渲染速度，适合用于高效视频制作场景。

PortraitGen的适用人群

• 影视制作与后期编辑人员：PortraitGen 提供的多模态视频编辑功能适用于影视制作团队，能够快速调整视频中的人物行为、场景和光照等，提升视频后期制作效率。
• 广告创意团队：广告创作人员可以使用该工具为广告中的人物进行风格转换、虚拟试穿等操作，从而快速生成创意广告内容。
• 虚拟形象和游戏开发者：PortraitGen 的人脸感知技术和个性化定制功能适合用于虚拟形象的创建和个性化调整，特别是在游戏角色设计、虚拟主播和虚拟现实（VR）场景中。
• 时尚行业从业者：时尚设计师和电商平台可以利用 PortraitGen 的虚拟试穿功能，在虚拟环境中展示服装、配饰等产品，从而为客户提供沉浸式购物体验。
• 多媒体艺术创作者：对于从事多媒体艺术创作的设计师，PortraitGen 能够提供高效的风格转换和视频编辑功能，帮助他们将创意快速实现为艺术作品。

如何使用PortraitGen？

中科大团队对外开放了PortraitGen的论文和代码，链接如下：

• PortraitGen项目主页：https://ustc3dv.github.io/PortraitGen/
• PortraitGen论文地址：https://arxiv.org/abs/2409.13591
• PortraitGen GitHub地址：https://github.com/USTC3DV/PortraitGen-code