Schema Harness 在 ARC-AGI-3 公开集上取得约 99% 成绩

发布时间: 2026-07-17 文章分类: AI前沿技术
阅读量: 0
AI智能体
企业级AI智能体开发与部署
LumeValley提供全栈式企业级AI智能体开发与部署服务,涵盖战略规划、场景化开发、企业级应用构建、行业解决方案及算力支撑。从需求分析到持续优化,确保智能体高效稳定运行,助力企业实现智能化转型,提升运营效率与竞争力。

还记得半年前那个让人泄气的数字吗。GPT-5.6 Sol,当时最靓的仔,在ARC-AGI-3半私有集上被人扒了个底裤:7.78%。不是87%,是七点七八。你可以说ARC这东西刁钻,不实用,离产品太远。但不可否认,它就是一套赤裸裸的智商秤——它不考你会什么,它考你有多快能搞懂一个你从未见过的规则,然后立刻上手解题。这几天,一群不声不响的研究者丢出一个叫Schema的框架,用同一套测试的公开集打出了两行数字。Claude Opus 4.8加Schema:99% RHAE。GPT-5.6 Sol 加Schema:95.35%。注意,没动权重。没微调。没搞什么RLHF后缀。就只是在模型面前铺开一张新的工作台,让它把看见的东西翻译成可以修改、可以执行的程序。然后,它就不需要猜了。

七点七八和九十九之间,隔的不是算力

同一个模型的两张面孔

ARC-AGI-3从来不是一个靠堆GPU就能碾过去的基准。它的每个任务都是一张像素网格配对,输入输出之间的映射规律必须从两三个样本里凭空揪出来。线段延伸,物体粘连,空洞填充,颜色变换——规则极其简单,但组合方式完全不可穷举。纯端到端的模型碰到这类题,本质上是在拿自己一生的参数记忆去赌下一个像素的颜色。这也是为什么GPT-5.6 Sol裸跑时,半私有集上的表现几乎等于随机瞎蒙。不是模型笨,是把蛮力用错了地方。

Schema做的事听起来简单得不像话:它不要求模型直接给出答案网格,而是让模型先观察样本,输出一段Python程序,这段程序能够解释输入如何变成输出,然后再把程序用在测试输入上生成答案。这就等于把“猜答案”变成了“找规则”,而且规则的形式是可读、可修改、可执行的文本。公开集上99% RHAE意味着,在那些人类可以靠一两分钟推理搞定的任务上,模型已经几乎能全部拿下。

为什么半私有集那么难而公开集突然就不难了

很多人会条件反射地问:是不是公开集泄题了?或者Schema只是用程序模板碰巧命中了测试分布?事实恰恰相反。ARC-AGI-3的公开集和半私有集在任务结构上没有本质区别,差别只在于半私有集无法下载、无法对着它调参。以前模型跨不过那道坎,是因为即便你用公开集训练出一个程序合成策略,一旦遇到没见过的像素模式,生成的小程序就漏洞百出。

Schema的关键突破在于它把状态归因机制发现拧成了一股绳。状态归因是指从复杂的网格中揪出哪些像素是对象,哪些是背景,哪些是关系。机制发现则是判断对象之间的变化规律究竟是平移、镜像、复制还是某种条件逻辑。传统方法把这两个步骤分开,先分割再推理,一步错满盘输。Schema的思路是用模型生成程序本身来完成联合推断,程序里同时定义了对象的提取方式和变化的操作逻辑。一旦猜错了,还可以像改代码一样修正,而不是从头再跑一次推理。

不碰权重,模型怎么突然变聪明了

可编辑程序:让世界模型从隐式变成显式

过去两年,整个行业都在拼命往“世界模型”这个概念里灌信仰。你问什么是世界模型,大多数回答其实是在描述一个更大的、训练得更久的Transformer,它内部以某种黑箱方式存储了物理常识或空间关系。Schema用了一个相当叛逆的做法:它说世界模型不一定要藏在权重里,它可以是一条条写着“如果看见方块向左移动一格,那么右边空出来的位置用背景填充”的代码。

这种表达方式有天然的迭代能力。模型生成了第一版程序,执行后发现某个网格角上冒出一个不合理的色块,它可以回去看自己的代码,定位到那行处理边界的逻辑,然后改写它。这不叫推理,这叫“调试”。而且整个过程都是纯文本操作,任何基座LLM都能原封不动地参与——你不需要Simulator,不需要扩散模型,不需要把ARC网格强行转成token序列喂进某些贵族模型的内核里。

从观测到代码,只隔了一层薄薄的抽象

Schema框架内部维护着一个观测到程序的转换通道。这个通道并不是训练出来的,而是一套精心设计的提示链加代码解释器沙箱。它强迫模型用语言精确描述所见事物的结构,然后把描述编译为明确的像素操作。有人说这不就是给模型配了一个Python解释器吗?类似的事我们不是早在Code Interpreter里见过了?差别在于粒度。Code Interpreter让模型写代码处理数据,Schema让模型写代码定义物理规律——它必须从两三个样本中归纳出一个可以外推的变换函数,而不是对具体数据做一次清洗或画一张图。

这个过程中,模型每一次输出都暴露了它的内在假设。假设错了,程序就崩;程序崩了,模型就能得到精确的反馈修正自己。这比任何RLHF奖励信号都干净得多。你不需要教会模型什么是“好”,你只需要告诉它“程序跑出来的方格和你看到的一样”。跟健身房里的镜子一样,反馈是即时且冷酷的。

这个数字会冲击谁,谁会把它当弹药

Agent不再是API调来调去

做Agent的团队这一年多来一直在两件事之间打转:要么拼命优化提示词让模型在规划-执行循环里少犯错,要么给模型套上一层又一层的验证器。Schema给了一条完全不同的路径。你完全可以让Agent在进入新环境时,不靠记忆,不靠few-shot例子,而是就地观察环境反馈,当场合成一个小型规则程序,然后用这个程序驱动后续所有决策。一旦环境动态变了,程序可以即时修补,而不用重跑整个prompt链。

这跟“模型自己写工具调用自己”有本质区别。之前的工具调用是调用预先写死的API,Schema则可被看作让模型凭空造出一个针对当前任务的微型模拟器。它在ARC网格上表现出的那股子灵劲儿,换成Web端的表单交互、桌面端的GUI操作、甚至机器人捕捉到的场景变化,理论上都能复制,前提是你有一套合适的观测描述机制。

基准测试的死法又多了一种

ARC-AGI一度被认为是现存少数几个“经得起刷”的基准。现在情况变了。公开集被Schema用99%穿透,这必然会引发两股浪潮。一股是防守方,他们会加速发布更新的私有数据集,让答案不可下载,让模型无程序可抄。另一股是攻击方,他们会把Schema的思路迁移到更复杂的开放式任务,开始用同一种编程即推理的范式去攻打更大规模的环境。

更深一层的影响在于评判标准本身。RHAE(Relative Human Adult Equivalent)这个指标以前聊胜于无,现在突然变成有可能被常规化使用的标杆之一。如果你的框架在某个测试上的RHAE忽然达到人类成年水平,你就不该再拿“模型还在进步”来搪塞,而必须正面回答这究竟是通用推理能力的体现,还是巧妙地绕过了测试设计者的初衷。Schema的研究者显然很清醒,他们在论文中把联合解决状态归因和机制发现的每一步都掰开了讲,几乎像是在对基准设计者说:“我们没作弊,我们是把题目本身给改变了。”

冷静一下,别急着说AGI来了

那99%的背后依然是一盆冷水

公开集不是整个世界。半私有集上的旧分数在那摆着,7.78%本身也是在提醒所有人:一旦模型无法通过反复下载、观察、调试来完善它的程序,它的推理会迅速退化。Schema目前依赖的那个从观测到程序的通道,还需要在公开场景下大量进行结构试探。把它丢进一个完全不可见的半私有环境,程序没法跑通调试循环,效果依然会大打折扣。

此外,ARC任务本身依然是一个微缩沙盒。它的网格再复杂,也只有几十乘几十的像素,对象种类不外乎十几种常见视觉模式。真实世界的观测远比这个嘈杂,有无数层冗余信息需要丢弃。Schema这种方式现在像一个聪明绝顶的少年在解谜题,但少年还没被扔进集市的嘈杂喧嚣中,还没学会在噪音里迅速辨出信号。这是下一道坎。

可编辑的代价是计算

Schema比裸推理多走了一步程序生成和执行,这一步带来的延迟是很实际的。在ARC上,单任务要跑几十次程序调试循环才收敛到可接受答案,这放在实时决策场景里就是硬伤。你不能期望每个agent每次看到新东西都停下来编一段代码再跑几轮验证。未来一定会出现缓存机制、程序模板库、以及更轻量级的程序表示法,让已经发现的规律可以跨任务迁移。

换句话说,Schema现在演示的是一种上限——当计算时间和交互轮次不是瓶颈时,模型能在这类推理任务上走多远。答案非常清楚:比我们想象得远得多。接下来产业的功课就是怎么用工程手段把这个上限拉进可用的延迟阈值里。

接下来的课题:怎么让写程序比猜答案更便宜

Schema的方法论意义大于它刷出来的那两个数字。它用最朴素的方式重申了一个被业界遗忘已久的常识:符号化规则和神经网络不是对立的。你不需要把一切压缩进权重,你只需要给模型一张草稿纸和一支能写字的笔,它就能在推理时自己构建临时性的、可修正的规则体系。Claude Opus 4.8和GPT-5.6 Sol在这张草稿纸上展现出的能力差距,甚至比它们在标准榜单上的差距还要小,这暗示着程序合成这个范式本身具备很强的模型无关性——只要基座足够好,框架一视同仁。

最后说一点预测。接下来半年我们会看到三件事发生:先是各大Agent框架疯抢Schema的思路,把可编辑程序层写进架构里;然后是基准测试的持有者被迫反制,催生一套专门测量模型“首次接触不可见规则后犯错率”的新指标;再然后,或许也是最关键的,有人会把Schema从网格世界搬进物理模拟器,让模型通过观测物理现象的帧序列,当场合成一个可以预测下一帧的小型物理引擎。如果这一步走通了,那我们今天讨论的就不再是ARC-AGI-3的分数,而是一个真正能在开放世界推理的最小原型。它已经不是在为基准而活,而是在为活着而活了。

AI智能体
企业级AI智能体开发与部署方案
LumeValley打造企业级AI智能体全流程方案,涵盖需求洞察、定制开发、多平台适配部署。凭借专业算法与丰富经验,确保智能体精准理解业务,高效执行任务,无缝融入企业生态,为企业数字化转型提供强劲智能引擎,提升核心竞争力。
点赞 | 33

Lumevalley——全栈AI服务领航者,以“战略-应用-算力”三位一体服务框架,为企业提供从顶层战略规划、场景化AI智能体(AI Agent)开发/搭建/部署,到企业级AI应用开发、AI+行业场景解决方案的全链路服务,并配套AI大模型部署与高性能AI算力底座支撑,助力客户在营销、服务、运营等核心环节实现效率倍增与模式创新。

马上扫码获取产品资料
相关文章

相关文章

填写以下信息, 免费获取方案报价
姓名
手机号码
企业名称
  • 建筑建材
  • 化工
  • 钢铁
  • 机械设备
  • 原材料
  • 工业
  • 环保
  • 生鲜
  • 医疗
  • 快消品
  • 农林牧渔
  • 汽车汽配
  • 橡胶
  • 工程
  • 加工
  • 仪器仪表
  • 纺织
  • 服装
  • 电子元器件
  • 物流
  • 化塑
  • 食品
  • 房地产
  • 交通运输
  • 能源
  • 印刷
  • 教育
  • 跨境电商
  • 旅游
  • 皮革
  • 3C数码
  • 金属制品
  • 批发
  • 研究和发展
  • 其他行业
需求描述
填写以下信息马上为您安排系统演示
姓名
手机号码
你的职位
企业名称

恭喜您的需求提交成功

尊敬的用户,您好!

您的需求我们已经收到,我们会为您安排专属电商商务顾问在24小时内(工作日时间)内与您取得联系,请您在此期间保持电话畅通,并且注意接听来自广州区域的来电。
感谢您的支持!

您好,我是您的专属产品顾问
扫码添加我的微信,免费体验系统
(工作日09:00 - 18:00)
电话咨询 (工作日09:00 - 18:00)
客服热线: 18011747352
售前热线: 189 2432 2993
扫码即可快速拨打热线