榜单第 11 名,听起来不算体面。但把这句话补全——DeepSeek-V4.1-Flash-20261017 (Max) 在 Agent Arena 上排名第 11,同时是排名最高的开源模型——性质就完全变了。前十名清一色是闭源阵营的旗舰,第一个从开源这边挤进第一梯队的选手,落在第 11 位。这个位置的含金量,比很多榜单上的第 1 名更值得拆开看。更关键的是,这份成绩建立在超过 7.5K 场真实会话之上,不是实验室里跑出来的漂亮曲线。
「第 11 名」这四个字,比「开源第一」更值钱
前十名坐着的都是谁
Agent Arena 的排名逻辑和普通对话榜单不是一回事。它测的是模型在真实任务里调用工具、拆解步骤、连续决策的能力,评价维度更接近「这东西能不能真的替你干活」。在这种评测里,前排长期被资源最密集的闭源模型占据,开源模型往往在中游扎堆。原因不复杂:Agent 场景对指令遵循的稳定性、工具调用的准确性要求极高,任何一次跑偏都会让整条任务链崩掉。所以当一个开源模型出现在第 11 位,它打破的不是纪录,是某种默认的心理预期。
开源模型的位置,正在被重新标定
过去两年,开源模型的叙事一直是「追平」。追平某个 benchmark,追平某个分数,追平某个版本。追平是个被动姿态,意味着你永远在看别人的背影。DeepSeek-V4.1-Flash 这次拿到的位置不一样——它不是「接近闭源旗舰」,而是「在某一类真实任务上,已经和闭源旗舰站在同一个讨论区间里」。这两句话的差别,做模型选型的人一听就懂。前者叫备选方案,后者叫可选项。
7.5K 场真实会话,和跑分是两种东西
净提升 5.1%,样本量才是重点
官方给出的数字是净提升 +5.1%,样本超过 7,500 场真实会话。很多人会直接跳过样本量看百分比,这恰恰是最容易踩坑的地方。真实会话意味着噪声、脏输入、多轮跳转、用户中途改主意,全部算在内。在这样的环境里拿到 5.1% 的净提升,含金量远高于在干净数据集上刷出的两位数涨幅。榜单可以过拟合,真实会话不行——你没法预测下一个用户会问什么,也没法为某个刁钻的边界情况提前打补丁。
Confirmed Success 涨了 11.5%,这个数字更硬
相比总分,Confirmed Success 提升 +11.5% 才是真正扎眼的一项。这个指标衡量的是「任务被确认完成」的比例,说白了就是模型真的把事办成了,而不是看起来像办成了。Agent 领域最普遍的失败模式不是答错,是「假装完成」——模型输出一段看起来很专业的总结,实际上中间某一步工具调用失败了,它自己没发现,也没回头补。11.5% 的涨幅意味着这类失败被显著压低。对企业用户来说,这一项的权重远高于任何综合分数。
两毛钱一个任务,这笔账要倒过来算
37% 和 27% 的关系
中位任务成本 0.20 美元。同一份评测里,GPT-6.1 Sol 的提升幅度是它的约 2.7 倍,但成本是它的近 4 倍。换句话说,DeepSeek-V4.1-Flash 用不到三成的钱,买到了近四成的效果。单看绝对值,0.20 美元一个任务似乎不算惊天动地,但 Agent 场景的成本结构和聊天完全不同——一个任务往往包含十几次甚至几十次模型调用,成本会随任务复杂度指数级放大。这时候 27% 和 100% 的差距,在月度账单上就是两个数量级的事情。
便宜从来不是护城河,性价比才是
低价模型一直有,问题是没人敢用。便宜但不可靠的 Agent,省下的钱最后都会以人工返工的形式还回去,还附带一次信任损耗。真正有价值的是「成本降下来的同时,可靠性没有跟着掉」——这次的数据恰好落在这个区间里。0.20 美元的中位成本配上 11.5% 的成功率提升,构成的是一个可以规模化的组合,而不是一个只能在 demo 里跑跑的玩具。
工具幻觉归零,才是最难的这一块
Agent 翻车,多半死在这上面
工具幻觉是 Agent 落地过程中最隐蔽的坑。模型会编造一个不存在的函数名,会传错参数类型,会在工具返回错误时假装成功继续往下走。这类问题在单轮对话里几乎看不出来,一旦进入多步任务链,就会像多米诺骨牌一样连锁崩塌。评测方特别指出这次没有出现工具幻觉问题,这句话的分量,比任何分数都重。因为幻觉不是能力问题,是可靠性问题,而可靠性决定了 Agent 能不能从演示品变成生产工具。
工程意义大于榜单意义
做 Agent 产品的人都知道,最难的不是让模型变聪明,是让它变稳定。一个会幻觉的模型,你得在外面套一层又一层的校验、重试、兜底逻辑,工程复杂度瞬间翻倍,延迟也跟着上去。工具调用不出错,意味着这层防腐代码可以大幅精简。对开发者来说,这不是省了几个人的工作量,而是整个架构可以变简单。架构简单,迭代就快,迭代快,产品才追得上需求变化。
开源 Agent 的下半场,看的是另外几件事
从「能不能跑」到「跑不跑得起」
开源模型过去几年的核心议题是能力追赶。现在这个议题正在分裂成两条:一条还是能力,另一条是单位成本下的可用性。DeepSeek-V4.1-Flash 这次的成绩,本质上是在第二条线上交出的答卷——它没有宣布自己全面超越谁,它宣布的是在真实 Agent 任务上,开源方案的成本效益比已经可以正面对标闭源旗舰。这个转变会直接改变企业的选型逻辑:从「闭源优先、开源备选」,慢慢滑向「按任务类型分派」。
接下来盯什么
一次榜单成绩说明不了终局。真正要观察的是三件事:这种表现能不能在更长链路、更多工具、更复杂依赖的任务上复现;开源权重释放之后,社区微调的版本会不会进一步拉开差距;以及闭源阵营下一轮迭代会怎么回应。第 11 名是个起点,不是终点。但至少现在,讨论「开源 Agent 模型能不能用」这个问题,已经有点过时了。该讨论的是,用它的时候,你打算省下来的那笔预算,准备投到哪里去。

