ARC Prize 刚把 Gemini 4 Argon 的 ARC-AGI 成绩摊在桌面上。最扎眼的不是 98.5%,也不是 91.3%,而是 ARC-AGI-3 上两个并排的数字:provider adapter harness 97.5%,标准 harness 49.8%。同一款模型,同一个基准,分数差出一倍。Google DeepMind 因此成为第二家在 ARC-AGI-3 上越过 95% 的前沿 AI 实验室。可这份成绩单真正讲的,未必是模型有多强,而是评测装置有多能改变结论。
97.5% 与 49.8%,隔着一整套评测装置
模型没有变,变的是谁在替它答题
标准 harness 像是官方给好的跑道,provider adapter harness 更像厂商自带适配层。97.5% 对 49.8%,差距大到不能用“发挥好坏”解释。在 ARC-AGI-3 这种带交互、带状态、带连续决策的环境里,怎么接入、怎么拆解、怎么调用工具,可能比模型权重更决定结果。榜单上写的是 Gemini 4 Argon,实际答题的是一个系统:模型、脚手架、重试策略、上下文管理、工具调用、状态记录。说 97.5% 是模型得分,容易;说清楚这 97.5% 属于哪套系统,难。
provider adapter harness 把分数推了上去
适配器像翻译层,把 ARC-AGI-3 的任务格式转成模型熟悉的接口。它可能改写提示、提供中间状态、允许更细粒度探索。于是模型不必直接面对原始环境的粗糙边缘。97.5% 不是凭空涨的,成本 $4.8K 也说明背后有算力投入。但这也意味着,谁掌握适配器,谁就部分掌握评分规则。
更贵的那套,反而只拿到一半
标准 harness 成本 $5.8K,得分 49.8%。多花钱,低分。这打破“投入越多、分数越高”的直觉。原因可能很多:标准 harness 更严格、限制更多,或没有给模型合适的工具。无论哪种,它都提醒我们,评测成本不等于评测效率。昂贵跑分可能只是把不合适的流程硬跑了一遍。
91.3% 和 98.5%,静态基准正在变薄
ARC-AGI-2 的难度神话在松动
ARC-AGI-2 拿到 91.3%,每任务 $0.32。这个成绩放在两年前会让人兴奋,现在更像前沿模型的常规操作。ARC-AGI-2 原本用来卡住依赖记忆和模式匹配的系统,但当顶级实验室把分数推到 90% 以上,它作为抽象推理试金石的锋利度就在下降。不是基准没价值,而是它开始接近饱和。
每任务三毛二,价格已经不像门槛
$0.32/task 在 AI 评测里几乎算便宜。过去推理成本常常把很多实验挡在门外,现在成本降到可以大规模重复跑。ARC-AGI-2 的 91.3% 因此不只是能力信号,也是经济信号:模型可以便宜地试错,开发者可以拿它当日常工具,而不是昂贵演示。
98.5% 之后,还能测出什么
ARC-AGI-1 的 98.5%、$0.16/task 更极端。几乎满分,成本低到像水电费。继续在 ARC-AGI-1 上刷分,意义有限。它已经从挑战题变成体检表上的旧指标。真正的问题转向 ARC-AGI-3:那里有交互、有状态、有更长链条,也有更多可操作空间。
第二家越过 95% 的实验室
DeepMind 追上来了,而且换了赛道
Google DeepMind 成为第二家在 ARC-AGI-3 上超过 95% 的前沿 AI 实验室。这个“第二家”很关键。它说明 ARC-AGI-3 的高分不再是孤例,也不是某一家实验室的独门技巧。DeepMind 的体量、数据和工程能力摆在那里,一旦找到合适的 harness 路径,复制高分并不意外。
95% 这条线,本身也在贬值
如果 95% 从新闻变成入场券,那这条线的象征意义就会缩水。ARC Prize 需要更高难度、更严评测来维持区分度。否则榜单会变成大厂轮流打卡。Gemini 4 Argon 的 97.5% 很漂亮,但它的漂亮依赖于 provider adapter harness。标准 harness 只有 49.8%,才是更值得追问的基线。
别急着给第一名加冕
第二家越过 95% 不代表竞争结束。ARC-AGI-3 的评测协议、harness 规则、成本披露方式都还在演化。今天的高分可能明天就被重新解释。对实验室来说,这是实力展示;对观察者来说,这是提醒:别把新闻稿里的百分比当成能力全貌。
评测经济学开始反噬榜单
4.8K 与 5.8K 的成本倒挂
provider adapter harness 花 $4.8K 得 97.5%,标准 harness 花 $5.8K 得 49.8%。这个倒挂很刺眼。通常更贵意味着更多尝试、更长推理、更高准确率。这里相反。它说明评测成本不是线性投入,而是被 harness 设计强烈调制。花在错误框架上的钱,可能只是浪费。
谁来审计 harness
如果 harness 决定分数,那 harness 本身就需要被审计。它是否公平?是否给所有模型同等工具?是否允许特定厂商利用私有接口?这些问题不解决,ARC-AGI-3 的高分就会带着问号。ARC Prize 作为基准组织,必须把 harness 规则写得更透明,否则榜单会失去公信力。
ARC Prize 从裁判变成产品经理?
ARC Prize 不只是发榜,它还在定义 harness、适配器、成本统计。角色越重,争议越大。它需要在推动前沿和保持中立之间走钢丝。Gemini 4 Argon 这组数据,正好把这种张力放大:没有 harness,模型无法在 ARC-AGI-3 上跑;有了 harness,分数又不再纯粹。
开发者该把注意力放在哪里
看分数,更要看评测说明
开发者看到 97.5% 时,第一反应可能是换模型。但更该看的是评测说明:用了哪套 harness,允许哪些工具,成本怎么算,失败案例长什么样。只看主榜数字,容易把系统能力误认成模型能力。实际部署中,你的 harness 和 ARC Prize 的 harness 可能完全不同。
代理框架已是性能变量
ARC-AGI-3 的结果说明,代理框架不再是外围工程。它直接决定模型能不能把推理转成行动。上下文管理、状态跟踪、错误恢复、工具调用,这些模块的表现会写进最终分数。企业选型时,如果只比较基座模型,而忽略代理层,等于只看了半张成绩单。
下一场竞争在 harness 之外
当模型分数越来越接近,竞争会转向评测之外:谁能设计更稳的 harness,谁能把成本压到更低,谁能让失败可解释。Gemini 4 Argon 的 97.5% 是一个节点,不是终点。ARC-AGI-3 的标准 harness 49.8% 更像一记警钟:离真正通用、可靠的智能体,行业还有很长的路。
ARC Prize 这份成绩单值得读,但别只读数字。97.5%、49.8%、91.3%、98.5%,每个百分比背后都有一套选择。Google DeepMind 成为第二家越过 95% 的实验室,说明前沿在推进;标准 harness 与适配器 harness 的巨大差距,说明评测本身也在成为战场。下一次看到类似榜单,先问一句:跑分的是模型,还是模型背后的整套装置?

