一、世界模型到底在做什么

简单说:给它一段视频或一个场景,让它预测"下一步会发生什么"。

不是生成一张好看的图,而是预测运动、遮挡、碰撞这些物理常识。这是它和普通生成模型的根本区别。

我一开始也以为世界模型就是更聪明的视频生成。看了一批论文之后才改口:两者的目标不一样。

视频生成追求「像」,世界模型追求「对」。像,是人判断的;对,是物理判断的。

所以看这类工作,我最关心一句话:它有没有在预测「下一次会发生什么」,而不是「下一帧长什么样」。

这句话听着绕,落到评测上却很清楚:遮挡、碰撞、掉落,这三类事件它预测得准不准。

三类都准,才叫懂世界。只准一类,通常是记住了训练集。

二、为什么这件事重要

现在的生成模型会画出"杯子掉下去浮在空中"这种画面。它懂像素,不懂物理。

世界模型要补的就是这一块。有了物理直觉,机器人才能预判,自动驾驶才能推演,视频生成才能连贯。

为什么这件事重要?因为现在的模型会画出「杯子掉下去浮在空中」这种画面。

它懂像素,不懂物理。世界模型要补的就是这一块。

补上之后,机器人才能预判,视频生成才能连贯,仿真训练才敢用。

三、三条技术路径

一、像素级预测。直接预测下一帧画面,效果直观,但算力消耗大。

二、潜空间预测。在压缩后的特征空间里预测,速度快,细节会丢一些。

三、结构化预测。预测物体位置、速度、关系,不生成像素。最省算力,也最容易接下游任务。

目前多数工作走第二条,因为性价比最好。

三条路径各有各的代价,选哪条,取决于你要拿来干什么。

做视频生成,走像素级;做规划和控制,走结构化;做通用能力的折中,走潜空间。

有个容易忽略的点:三条路径可以叠加。先用结构化预测物体轨迹,再用像素级补细节。

现在不少团队就是这么做的,对外只宣传一条路径,看起来像是一步到位。

所以读宣传材料,先问它端到端跑了几段。分段越多,越说明单条路径不够用。

四、评测怎么算通过

三点:

一、预测的下一帧和真实下一帧,在关键物体位置上偏差多大;

二、长时序推演十步之后,画面有没有崩掉;

三、换一个没见过的场景,还能不能预测对。

第三点最关键。只在自己训练过的场景里准,那不叫世界模型,叫记忆。

三条技术路径的取舍,其实是一个成本问题。

像素级最贵,结构化最省,潜空间居中。省下来的算力,可以换更长的预测时长。

所以看论文里的预测步数,就知道它走的是哪条路。步数长的,多半是结构化。

五、和普通人有什么关系

短期看,最直接的受益是视频生成:镜头切换更连贯,人物动作不再跳。

中期看,是具身智能:机器人能在心里先演一遍再动手。

长期看,是仿真训练:在虚拟环境里试错,成本比现实低几个数量级。

和普通人最直接的关系,其实不是机器人,是内容生产。

镜头连贯、人物动作不跳、道具不会凭空消失,这些体验的提升,都来自对运动的理解。

第二个关系是成本。仿真训练能把试错成本降下来,这件事对做硬件和自动驾驶的公司意义很大。

第三个关系比较远:一旦模型能预测结果,很多决策就能先在虚拟环境里跑一遍。

这三层里,第一层今年已经在发生,第二层看两三年,第三层别急着下判断。

评测第三条最关键:换一个没见过的场景,还能不能预测对。

只在自己训练过的场景里准,那不叫世界模型,叫记忆。

这一条也是最难做到的。多数论文的「泛化」只是换了个镜头角度。

六、别被名词带跑

"世界模型"这个词现在被用得很宽。看到宣传先问三句:预测什么、预测多长、换场景还准不准。

三问答不上来,大概率只是换了个说法的视频生成。

补一句判断技巧:看它怎么处理遮挡。

物体被挡住之后重新出现,位置对不对,这是物理直觉的试金石。

遮挡处理得一塌糊涂的,基本可以判定还在像素层面打转。

延伸参考

术语这块,前端 Wiki 的条目写得克制,一个词配一句解释,查概念比看长文快。

前端 Wiki

留一句:判断一个新模型是不是真的懂世界,就看你换个场景它还认不认路。