“如果让Sora画一段视频,内容是从1数到10,它会怎么表现?”
这个问题最近在AI社区引发了一轮有趣的讨论。答案是:它做不到。
不只是Sora,Runway、Pika、Gen-3——目前市面上所有主流的视频生成模型,都无法准确完成这个任务。它们或许能生成一段看似合理的视频,但如果你仔细观察,会发现画面中物体的数量、位置、运动轨迹都与“数数”这个简单的指令不符。
这不是模型的bug,而是一个更深层问题的表征:AI已经学会了电影的视觉语法,但还没有学会世界的物理语法。
视觉语法与物理语法
所谓“视觉语法”,指的是镜头语言、剪辑节奏、光影布局这些人类在银幕上发展了一个多世纪的表达方式。Sora通过海量视频训练,已经掌握了这些规律——它知道什么时候该用推拉镜头,什么时候该切画面,什么样的光影组合看起来“像电影”。
但“物理语法”完全是另一回事。
物理语法关乎的是这个世界最基本的运行规则:物体有重量、会下落、相互碰撞会有反弹;一个球从高处掉下来会加速;水会流进低处;一个苹果被咬了一口会少一块——这些常识在人类看来显而易见,但在AI的认知体系里,这些知识极度稀缺。
让一个视频模型“从1数到10”,本质上是让它在连续变化的画面中保持对物体数量的追踪和呈现。这不仅需要视觉生成能力,还需要对物理世界基本规律的深刻理解。而后者,恰恰是当前大模型最大的短板。
三个层面的困境
为什么视频模型在“数数”这件事上如此挣扎?可以从三个层面来理解。
第一层:物体持久性的缺失
人类在两岁就建立了一个概念——即使某个物体不在视野里,它依然存在。但当前的视频生成模型并不真正理解这一点。在生成连续帧时,模型倾向于“创造”新的物体来填补画面,或者将已经消失的物体重新召唤出来,因为它的注意力机制只在相邻帧之间运作,缺乏跨长时间跨度的物体追踪能力。
数数需要模型在数十甚至数百帧的序列中,始终记住“画面里已经出现了几个苹果”。这个简单的需求,对当前架构来说是一个巨大的挑战。
第二层:物理规律的隐性知识
现实世界中,物体不会凭空出现,也不会凭空消失。如果一个场景里本来有3个球,镜头转一圈回来还是3个球——除非有外力改变了数量。但视频模型没有“世界模型”,它不知道“物体守恒”的概念。
这导致一个有趣的现象:模型生成的视频往往“看起来对”,但经不起一帧一帧地检验。一开始画面里有3个苹果,几个镜头切换后,可能变成了4个;再切几次,可能又变成了2个。
第三层:因果推理的缺失
数数不仅是视觉任务,更是因果任务。“从1数到10”隐含的意思是:数字依次递增,每一个数字的出现都意味着前一个数字的展示已经结束,且当前数字的数量与数字本身一致。这是一套完整的因果链条。
当前的视频模型本质上是“统计学上的画家”——它学习的是像素层面的分布,而不是语义层面的因果关系。当因果链条变长、变复杂时,模型的“幻觉”就会不可避免地出现。
这意味着什么
有人可能会问:一个“不会数数”的视频模型,能有什么实际影响?
答案取决于你如何看待这个问题的本质。
视频模型不会数数,不是因为工程实现上的疏漏,而是因为当前大模型的底层架构存在一个根本性的限制——它们是通过“预测下一个token/pixel”来工作的,而不具备对物理世界的显式建模能力。
这意味着,即便我们继续堆算力、继续扩大训练数据量,只要架构不变,视频模型的这个缺陷就不会被真正解决。Sora可以生成看起来很逼真的视频,但只要你稍微考验它一下——让画面里出现特定数量的物体、让物体按照特定物理规律运动——它就会露馅。
这揭示了一个更深刻的问题:大模型的智能,可能与人类的智能走着一条完全不同的路径。
人类通过与物理世界的互动来建立对世界的理解——我们学会爬行、走路、扔东西,通过身体与环境的交互,逐步建立起对空间、时间、因果的认知。但大模型不同,它们在虚拟的文本和视频token中寻找统计规律,构建的是一套“表象世界”的模型,而非“物理世界”的模型。
突破的方向
要解决“数数”问题,可能需要几个方向的突破:
世界模型的引入:让模型在生成视频之前,先建立一个对物理世界的内部表征。这类似于人类在脑海中“先想象一个场景”,然后再把它画出来。世界模型可以在因果层面确保物体数量、位置、运动的连贯性。
具身智能的融合:将视频生成与机器人控制结合起来,让模型在真实的物理交互中学习物理规律。这正是OpenAI机器人团队在做的事情——也许Kalinowski她们的离去,会让这个方向变得更加紧迫。
神经符号主义的回归:将神经网络的模式识别能力与符号系统的逻辑推理能力结合起来,让模型不仅“看到”画面,还能“理解”画面中正在发生什么。
“不会数数”听起来是个无伤大雅的小缺陷。但它背后藏着的,是一个关于AI极限的根本性问题:当我们教会AI模仿世界的表象时,什么时候才能教会它理解世界的本质?
这个问题的重要性,可能远远超过“视频能不能数到10”本身。
本解读参考来源:36氪、AI社区讨论、技术分析