Gemini 4 Argon 在 ARC-AGI (Verified) 评测中公布:ARC-AGI-3 得分 97.5%

发布时间: 2026-10-16 文章分类: AI前沿技术
阅读量: 0
AI智能体
企业级AI智能体开发与部署
LumeValley提供全栈式企业级AI智能体开发与部署服务,涵盖战略规划、场景化开发、企业级应用构建、行业解决方案及算力支撑。从需求分析到持续优化,确保智能体高效稳定运行,助力企业实现智能化转型,提升运营效率与竞争力。

ARC Prize 刚把 Gemini 4 Argon 的 ARC-AGI 成绩摊在桌面上。最扎眼的不是 98.5%,也不是 91.3%,而是 ARC-AGI-3 上两个并排的数字:provider adapter harness 97.5%,标准 harness 49.8%。同一款模型,同一个基准,分数差出一倍。Google DeepMind 因此成为第二家在 ARC-AGI-3 上越过 95% 的前沿 AI 实验室。可这份成绩单真正讲的,未必是模型有多强,而是评测装置有多能改变结论。

97.5% 与 49.8%,隔着一整套评测装置

模型没有变,变的是谁在替它答题

标准 harness 像是官方给好的跑道,provider adapter harness 更像厂商自带适配层。97.5% 对 49.8%,差距大到不能用“发挥好坏”解释。在 ARC-AGI-3 这种带交互、带状态、带连续决策的环境里,怎么接入、怎么拆解、怎么调用工具,可能比模型权重更决定结果。榜单上写的是 Gemini 4 Argon,实际答题的是一个系统:模型、脚手架、重试策略、上下文管理、工具调用、状态记录。说 97.5% 是模型得分,容易;说清楚这 97.5% 属于哪套系统,难。

provider adapter harness 把分数推了上去

适配器像翻译层,把 ARC-AGI-3 的任务格式转成模型熟悉的接口。它可能改写提示、提供中间状态、允许更细粒度探索。于是模型不必直接面对原始环境的粗糙边缘。97.5% 不是凭空涨的,成本 $4.8K 也说明背后有算力投入。但这也意味着,谁掌握适配器,谁就部分掌握评分规则。

更贵的那套,反而只拿到一半

标准 harness 成本 $5.8K,得分 49.8%。多花钱,低分。这打破“投入越多、分数越高”的直觉。原因可能很多:标准 harness 更严格、限制更多,或没有给模型合适的工具。无论哪种,它都提醒我们,评测成本不等于评测效率。昂贵跑分可能只是把不合适的流程硬跑了一遍。

91.3% 和 98.5%,静态基准正在变薄

ARC-AGI-2 的难度神话在松动

ARC-AGI-2 拿到 91.3%,每任务 $0.32。这个成绩放在两年前会让人兴奋,现在更像前沿模型的常规操作。ARC-AGI-2 原本用来卡住依赖记忆和模式匹配的系统,但当顶级实验室把分数推到 90% 以上,它作为抽象推理试金石的锋利度就在下降。不是基准没价值,而是它开始接近饱和。

每任务三毛二,价格已经不像门槛

$0.32/task 在 AI 评测里几乎算便宜。过去推理成本常常把很多实验挡在门外,现在成本降到可以大规模重复跑。ARC-AGI-2 的 91.3% 因此不只是能力信号,也是经济信号:模型可以便宜地试错,开发者可以拿它当日常工具,而不是昂贵演示。

98.5% 之后,还能测出什么

ARC-AGI-1 的 98.5%、$0.16/task 更极端。几乎满分,成本低到像水电费。继续在 ARC-AGI-1 上刷分,意义有限。它已经从挑战题变成体检表上的旧指标。真正的问题转向 ARC-AGI-3:那里有交互、有状态、有更长链条,也有更多可操作空间。

第二家越过 95% 的实验室

DeepMind 追上来了,而且换了赛道

Google DeepMind 成为第二家在 ARC-AGI-3 上超过 95% 的前沿 AI 实验室。这个“第二家”很关键。它说明 ARC-AGI-3 的高分不再是孤例,也不是某一家实验室的独门技巧。DeepMind 的体量、数据和工程能力摆在那里,一旦找到合适的 harness 路径,复制高分并不意外。

95% 这条线,本身也在贬值

如果 95% 从新闻变成入场券,那这条线的象征意义就会缩水。ARC Prize 需要更高难度、更严评测来维持区分度。否则榜单会变成大厂轮流打卡。Gemini 4 Argon 的 97.5% 很漂亮,但它的漂亮依赖于 provider adapter harness。标准 harness 只有 49.8%,才是更值得追问的基线。

别急着给第一名加冕

第二家越过 95% 不代表竞争结束。ARC-AGI-3 的评测协议、harness 规则、成本披露方式都还在演化。今天的高分可能明天就被重新解释。对实验室来说,这是实力展示;对观察者来说,这是提醒:别把新闻稿里的百分比当成能力全貌。

评测经济学开始反噬榜单

4.8K 与 5.8K 的成本倒挂

provider adapter harness 花 $4.8K 得 97.5%,标准 harness 花 $5.8K 得 49.8%。这个倒挂很刺眼。通常更贵意味着更多尝试、更长推理、更高准确率。这里相反。它说明评测成本不是线性投入,而是被 harness 设计强烈调制。花在错误框架上的钱,可能只是浪费。

谁来审计 harness

如果 harness 决定分数,那 harness 本身就需要被审计。它是否公平?是否给所有模型同等工具?是否允许特定厂商利用私有接口?这些问题不解决,ARC-AGI-3 的高分就会带着问号。ARC Prize 作为基准组织,必须把 harness 规则写得更透明,否则榜单会失去公信力。

ARC Prize 从裁判变成产品经理?

ARC Prize 不只是发榜,它还在定义 harness、适配器、成本统计。角色越重,争议越大。它需要在推动前沿和保持中立之间走钢丝。Gemini 4 Argon 这组数据,正好把这种张力放大:没有 harness,模型无法在 ARC-AGI-3 上跑;有了 harness,分数又不再纯粹。

开发者该把注意力放在哪里

看分数,更要看评测说明

开发者看到 97.5% 时,第一反应可能是换模型。但更该看的是评测说明:用了哪套 harness,允许哪些工具,成本怎么算,失败案例长什么样。只看主榜数字,容易把系统能力误认成模型能力。实际部署中,你的 harness 和 ARC Prize 的 harness 可能完全不同。

代理框架已是性能变量

ARC-AGI-3 的结果说明,代理框架不再是外围工程。它直接决定模型能不能把推理转成行动。上下文管理、状态跟踪、错误恢复、工具调用,这些模块的表现会写进最终分数。企业选型时,如果只比较基座模型,而忽略代理层,等于只看了半张成绩单。

下一场竞争在 harness 之外

当模型分数越来越接近,竞争会转向评测之外:谁能设计更稳的 harness,谁能把成本压到更低,谁能让失败可解释。Gemini 4 Argon 的 97.5% 是一个节点,不是终点。ARC-AGI-3 的标准 harness 49.8% 更像一记警钟:离真正通用、可靠的智能体,行业还有很长的路。

ARC Prize 这份成绩单值得读,但别只读数字。97.5%、49.8%、91.3%、98.5%,每个百分比背后都有一套选择。Google DeepMind 成为第二家越过 95% 的实验室,说明前沿在推进;标准 harness 与适配器 harness 的巨大差距,说明评测本身也在成为战场。下一次看到类似榜单,先问一句:跑分的是模型,还是模型背后的整套装置?

AI智能体
企业级AI智能体开发与部署方案
LumeValley打造企业级AI智能体全流程方案,涵盖需求洞察、定制开发、多平台适配部署。凭借专业算法与丰富经验,确保智能体精准理解业务,高效执行任务,无缝融入企业生态,为企业数字化转型提供强劲智能引擎,提升核心竞争力。
点赞 | 85

Lumevalley——全栈AI服务领航者,以“战略-应用-算力”三位一体服务框架,为企业提供从顶层战略规划、场景化AI智能体(AI Agent)开发/搭建/部署,到企业级AI应用开发、AI+行业场景解决方案的全链路服务,并配套AI大模型部署与高性能AI算力底座支撑,助力客户在营销、服务、运营等核心环节实现效率倍增与模式创新。

马上扫码获取产品资料
相关文章

相关文章

填写以下信息, 免费获取方案报价
姓名
手机号码
企业名称
  • 建筑建材
  • 化工
  • 钢铁
  • 机械设备
  • 原材料
  • 工业
  • 环保
  • 生鲜
  • 医疗
  • 快消品
  • 农林牧渔
  • 汽车汽配
  • 橡胶
  • 工程
  • 加工
  • 仪器仪表
  • 纺织
  • 服装
  • 电子元器件
  • 物流
  • 化塑
  • 食品
  • 房地产
  • 交通运输
  • 能源
  • 印刷
  • 教育
  • 跨境电商
  • 旅游
  • 皮革
  • 3C数码
  • 金属制品
  • 批发
  • 研究和发展
  • 其他行业
需求描述
填写以下信息马上为您安排系统演示
姓名
手机号码
你的职位
企业名称

恭喜您的需求提交成功

尊敬的用户,您好!

您的需求我们已经收到,我们会为您安排专属电商商务顾问在24小时内(工作日时间)内与您取得联系,请您在此期间保持电话畅通,并且注意接听来自广州区域的来电。
感谢您的支持!

您好,我是您的专属产品顾问
扫码添加我的微信,免费体验系统
(工作日09:00 - 18:00)
电话咨询 (工作日09:00 - 18:00)
客服热线: 18011747352
售前热线: 189 2432 2993
扫码即可快速拨打热线