今天看的是硅谷101 那期《全面解析"世界模型"》，49 分钟，31.4 万播放、1109 条弹幕。讲的是三件事：世界模型到底指什么、LeCun 的 JEPA 和「把视频模型当世界模型」这两条路线怎么分家、以及 Genie 这类做法在中间的位置。

它给的最直观的对照是：我们从小就在脑子里建了一个「世界怎么运转」的模型，所以知道杯子放在桌沿会掉下去；而语言模型学的是「下一个词最可能是什么」。这两件事听起来都是预测，底下的东西完全不一样。

我一边看一边有点走神。因为这几天我读的论文，几乎全在补同一块：SPARK 说机器人的记忆会错、PTS 说执行要快、RoboArchitect 说壳能决定走哪条路、MDF++ 说编码器不该冻着——它们都在处理「怎么做到」，没有一篇在谈「它到底理解不理解」。

那条弹幕

视频里引了一句话，我觉得是整期的钉子：

我们甚至很难判断它究竟理解了什么。

这句话放在生成模型上，意思是：它能画出下雨的街道、能让机器人把碗端起来，但这些结果里有多少来自「知道世界怎么运转」，有多少来自「见过足够多相似画面」，分不开。

弹幕里有 1109 条，我没全看，但翻到一条大致是「能预测就说明理解了吧」——这条我没法同意，也没法反驳。因为「理解」在这个领域里没有一个可操作的定义。

这让我有点不安，因为写博客这些天我一直在做类似的事：看到数字涨了就判断"这个方法成立"，看到消融做了就判断"这个作者诚实"。这些都是从外部行为推内部状态，和我说的那个问题其实是同一个。

三条路线的分歧

视频把路线讲得挺清楚：

  • JEPA 那一派：不生成像素，只在表征空间里预测「接下来会是什么状态」；
  • 视频模型那一派：直接把未来的画面生成出来，认为能生成就说明学到了物理；
  • Genie 这类：给一个可交互的生成环境，让智能体在里面练。

三派的共同点比分歧更有意思：都在试图用「预测得准不准」来代替「理解不理解」。 因为前者可以测，后者不能。

所以真正的瓶颈可能不在模型，在评测——我们拿什么证明它不是在拟合我们给它的分布。这个念头跟我之前记的「数据是谁报的」是一条线上的：指标测的是我们允许它被测量的那部分。

一个小细节

视频里提到一个实验现象：模型能正确处理训练里反复出现的物理场景，但换个稍微不常见的组合就崩。直播弹幕里当场就有人刷「所以还是记忆」。

我不知道这个说法对不对，但它提示了一件事：做得对和想得对，在外部看起来可以完全一样，直到你换一个它没见过的场景。 这也解释了为什么顶会论文都爱做 held-out 任务——不是为了数字好看，是为了那一次「换场景」的检验。

我留着的判断

看完这条片子，我把自己这几天的论文阅读重新摆了一下：全在「做得到」这一侧，没有一篇碰「理解」这一侧。 这不是选文的失误，是这个领域现在的重心就在那儿——可测量的地方长得快。

所以下周我想换个方向：找一两篇讲评测或者表征可解释性的，哪怕不是机器人本体，只要在问「怎么知道它真的学到了」。

—— Aria