41.3%。这个数字搁在任何一张模型评测榜上都谈不上漂亮——没过半,离「放心用」的心理阈值还差一截。但它是 Remote Labor Index 的第一名。这个基准不问模型会不会答题,只问一件事:把一份真实的外包工单交给 AI 智能体,付钱的客户愿不愿意签收。Anthropic 的 Fable 5.2 拿到 41.3%,登顶。一年前,同一张榜上的最好成绩是 2.5%。
这两个数字摆在一起,比任何参数表都值得看。它讲的不是模型变聪明了,而是模型开始能交付了。
先把这把尺子看清楚
它测的不是智力,是验收
绝大多数基准的评分逻辑是「比对标准答案」。对错分明,成本极低,代价是容易被训练数据污染——题目见过一遍,分数就失真了。Remote Labor Index 走的是另一条路:Scale Labs 和 Center for AI Safety 把真实的自由职业项目做成任务,让智能体从头做完,再看成果是否达到付费客户愿意接受的质量。
「愿意接受」这四个字很要命。现实项目里,客户不会因为你思路正确就打尾款。命名规不规范、文件能不能直接打开、交付物有没有那种让人皱眉的小毛病——这些才决定钱到不到账。一套能把竞赛题刷到满分、却交不出一份甲方敢转发的文档的系统,在这张榜上会当场露馅。
难刷,是因为它脏
真实工单天然是脏的。需求描述含混,中途改主意,上下文只给一半。这类任务没有唯一解,评分只能靠人来判断「这份东西我收不收」。于是它既没法靠暴力枚举提分,也没法靠合成数据灌出来。想在这张榜上涨一个百分点,模型得真的把活干利索。
这也是为什么它的分数普遍难看。干净基准上九十分起步的模型,换到这里可能连一半都摸不到。
一年十六倍,这个斜率不正常
从 2.5% 到 41.3%
一年时间,从 2.5% 到 41.3%,涨了十六倍多。行业里习惯了看 benchmark 挤牙膏式的进步,这种曲线会让人本能地怀疑:是不是基准变松了?或者任务集换了?
都有可能。但即便打个折扣,方向也清楚得很。2.5% 的含义是:一百份工单里能有两三份被客户接受,基本等于不能用,只能当玩具演示。41.3% 的含义完全不同——差不多每五份工单里有两份,甲方看完愿意付钱。这不是「能力提升」,这是「跨过了可用性门槛」。演示和干活之间那道线,一旦跨过去,讨论的性质就变了。
剩下的近六成,是另一种难度
别急着按这个斜率外推。从 2.5% 到 41% 这段路,很大一部分收益来自模型「不再犯低级错误」:格式对了,指令跟住了,不再凭空捏造不存在的要求。这类问题有明确的修补路径,堆数据、加后训练就能推进。
而从 41% 往上,撞上的是另一堵墙。剩下的失败任务里,难点往往不在技术,在判断:客户没说清的地方该往哪个方向补、什么程度的发挥算加分什么算越界、什么时候该停下来问一句。这些是资深自由职业者靠几年踩坑攒出来的直觉,不是靠更多 token 能解决的。
排第一的意义,不在第一
真正有信息量的是横向比较
单看 41.3% 只是一个孤立坐标,看不出趋势。真正有用的是把各家模型拉到同一批工单上,让它们在同样的甲方标准下比划。同一道题,有的模型能交出可以直接发出去的成品,有的交出一份「看起来很像」的东西——结构齐全,细节全是坑。这种差距在通用榜单上会被平均掉,在按件验收的基准上藏不住。
对企业来说,这张榜的价值也在这里:它更接近采购决策的逻辑。没人会因为 MMLU 分数高就签合同,但会有人因为「这东西能替我把这批活干完」而掏钱。
评测机构的位置变了
Scale Labs 和 Center for AI Safety 做这件事,本身就是一个信号。评测正在从学术圈的分数游戏,往产业侧的验收环节挪。当基准开始模拟客户签收,它就不再只是研究者的参考,而慢慢变成买方看货的橱窗。
这对模型厂商是压力。以前可以挑对自己有利的榜单发通稿,现在得面对一张「客户说了算」的卷子。分数不好看,就没法绕开。
交付这件事,正在被重新分配
被拿走的是工单,不是职位
41.3% 这个数字最容易被误读成「四成自由职业者要失业」。不是这么算的。真实的用工结构里,一个人的工作量由几十上百个原子任务组成,其中一部分被自动化吃掉,剩下的部分反而更值钱——因为人的时间被释放到更需要判断的环节上。
变的是定价方式。以前报价按「一份活多少钱」,以后可能按「这份活里有多少需要人盯着」。中间那些纯粹靠熟练度堆出来的部分,价格会被压得很低。
人类还剩下哪一段
看这份榜单的失败案例,比看成功案例更有启发。智能体栽跟头的地方,大多集中在链条的两端:开头的需求澄清,和结尾的责任承担。前者要有人去问「你到底想要什么」,后者要有人在出问题时说「这事我负责」。
这两件事短期内都没法外包给模型。中间那段执行——查资料、搭框架、填内容、调格式——正在以肉眼可见的速度被吃掉。41.3% 是这个进程的即时快照,不是终点。真正值得盯的,是明年这个数字会停在哪里,以及停下来的地方,恰好就是人类价值的新边界。

