AI 已经很会“输出”了：语言模型会续写文字，图像和视频模型会补下一帧，机器人模型会预测下一步动作。但对创作者和技术团队来说，更底层的问题是：模型到底只是学会了某一种输出接口，还是开始理解世界状态如何变化？
智源研究院悟界·RoboBrain Orca Team 发布的技术报告 Orca: The World is in Your Mind，试图把这个问题往前推一步。站内也已经收录了 Orca 世界模型研究页，适合想持续跟进世界模型方向的读者收藏。
从“预测输出”转向“预测状态”
过去几年，AI 的主流训练目标很清晰：语言模型预测下一个 token，视频模型预测下一帧，具身模型预测下一步动作。这个路线非常有效，但也容易把模型锁在某个单一出口里。
对视频和 CG 后期从业者来说，这个问题并不陌生。很多 AI 视频片段单帧看起来很漂亮，但镜头一长，物体恒常性、接触关系、运动惯性和空间逻辑就开始出问题。换句话说，模型会“画出”合理画面，却不一定理解场景中的东西为什么这样移动、下一秒应该如何变化。
Orca 的判断是：如果要走向更通用的智能，模型需要先学习一个统一的 world latent，也就是把视觉、语言、动作等信号组织到同一个世界状态表征里，再从这个表征里读出不同任务能力。
Orca如何学习世界变化？
官方项目页和 arXiv 技术报告显示，Orca 采用两类互补学习方式。
无意识学习来自连续视频。模型从真实世界的时间序列里观察物体移动、手与物体接触、场景随时间变化等密集动态，不依赖每一帧都有明确语言标注。
有意识学习则引入语言描述、事件和 VQA 监督。它让模型理解“发生了什么事件”“目标状态是什么”“当前观察和语言条件之间有什么关系”。
为了支撑这种训练，Orca Team 构建了大规模世界学习数据：约 12.5 万小时视频、1.6 亿条事件标注以及 1150 万条 VQA 数据。这批数据覆盖第一视角交互、第三视角操作、机器人执行视频、自然动态场景和通用视觉问答等来源。
一个world latent，读出三种能力
Orca 的实验设计有一个重要点：下游阶段冻结 backbone，只训练轻量 readout 模块。这样可以更清楚地观察，模型表现提升到底来自后端任务头，还是来自预训练阶段学到的世界表征。
它主要验证三类读出能力：
- 文本读出：看模型能否理解事件、动态运动和状态转移，而不只是回答静态图片问题。
- 图像读出：看模型能否根据当前画面和指令预测未来状态，而不是随意生成一个“看起来像”的画面。
- 动作读出：看模型学到的世界表征能否迁移到真实机器人控制，尤其是在新环境和新物体上的泛化。
这也是 Orca 最值得关注的地方：它没有只证明自己某一项榜单分数更高，而是在尝试说明统一世界表征能同时服务理解、预测和行动。
对AI视频和CG后期意味着什么？
Orca 现在仍是研究项目，不是面向后期制作的成品工具。但它指向的问题，正是 AI 视频继续向生产级靠近时绕不开的部分。
对视频创作者来说，未来的 AI 视频不只是“画面更清晰”“运动更炫”，还需要更稳定的镜头连续性、更可靠的物体关系、更少的穿帮、更可控的动作变化。Runway 等 AI 视频方向同样在强调世界模型，原因就在这里：视频不是静态图的集合，而是一个持续演化的系统。
如果这类世界模型路线继续成熟，它可能会影响虚拟拍摄预演、镜头运动预测、角色动作生成、物理交互模拟、机器人拍摄辅助，甚至资产在不同镜头里的状态管理。对后期团队而言，真正有价值的不是又多一个“一键生成”按钮，而是 AI 能否更可靠地理解场景、动作和时间。
做视频网观点
当然，也要保持判断。Orca 仍是早期研究，真实生产环境需要的稳定性、可控性、版权边界、工具链整合，都不是一篇论文能立刻解决的。但从技术方向看，它提醒我们：下一阶段的 AI 竞争，可能不只是生成速度、清晰度和提示词效果，而是模型内部是否真的形成了可迁移的世界理解。