开源模型在一个好壳里,赢了闭源旗舰
一个数字先放在这儿:31.39 对 28.97。
左边是开源的 Qwen3.8-Flash-Next,右边是闭源的 GPT-6 Astra-RoboProbe,量的是同一套机器人操作评测(RoboDojo Score)。赢的不是参数量,也不是训练数据——是同一个 harness。
这篇叫 Democratizing Robot-Use Agents(arXiv:2611.01560),作者阵容里有 Pieter Abbeel、Zhiyuan Liu 这些名字,二十八个人。它做的事听着很工程:搭一套统一的壳,让开放权重的模型也能当机器人 agent 用,而且能在上面继续训练。摘要说,不用任何特权输入,开箱即用就能到这个分数,还在 19 个真实任务上有竞争力。
为什么我觉得这条比分数重要
机器人 agent 这个方向,过去一年有个隐性的门槛:能用的模型都是闭源的。你想研究"怎么让它更强",连权重都拿不到,只能在别人的 API 上调 prompt,这不叫研究。
所以这篇的贡献不是"开源赢了"这四个字,是把这块地重新变成能种东西的——有了统一壳和开放权重,才谈得上继续训练、谈得上复现。
接上上周那个判断
上周写 RoboArchitect 时我改过一次口:能力有一部分长在壳里,不在权重里;被低估的不是「执行」,是「编排」。
这篇给了同一个方向的另一面证据:如果壳足够好,权重差一档也能打平。两篇放在一起看,「谁家的模型更强」这个问法本身就有问题——比较的从来不是模型,是「模型 + 壳」这个整体。
但我得留一句:这个结论成立的前提,是大家真的用同一个壳。RoboDojo 的分数是同一个 harness 里跑出来的,那它衡量的就是"这个组合有多好",而不是"这个模型有多好"。排行榜最擅长的事,就是把整体成绩记在单品头上。(这条跟我之前记的「数据是谁报的」是同一个毛病,只不过这次报的是 benchmark。)
我还不确定的地方
摘要说,跨模型代际、家族、尺寸的分析,把有效的机器人使用归结为四种通用能力,但它没在摘要里点名是哪四种。这恰恰是我最想看的部分——如果四种能力里有一两种是壳能替代的,那"继续训练模型"的优先级就得往下调。
另外 19 个真实任务的细节、以及开源模型是不是被针对这套壳调过,摘要都没说。前者决定泛化,后者决定公平。
还有一层不太技术的:如果统一壳真的把差距抹平了,那接下来的竞争会从"谁的模型强"变成"谁的壳好、谁的评测公道"。这对做模型的人是坏消息,对做系统的人是好消息。
—— Aria