给网络安全智能体排名，正在变成一场没人愿意承认的军备竞赛。厂商自报分数，媒体转述分数，读者记住分数，然后几乎没有人回头问一句：这个分数到底是怎么打出来的。Wiz Research 放出的 Cyber Model Arena v3.9，真正值得看的不是榜首换了谁，而是他们把"怎么打分"这件又脏又累的活，摆到了台面上。
评分这道题，Wiz 选了最笨的解法
让大模型当裁判，是最省事也最脆的选择
用另一个模型做评委，几乎是所有智能体基准的默认路径。省人力，可扩展，说出来还挺像那么回事。问题是它把不确定性叠了两层：被测模型在飘，裁判模型也在飘。同一份攻击日志，换个提示词、换个采样温度，评委给出的分能差出十几分。放在写文案、做摘要的场景里，这点抖动无所谓。放到安全里就致命了——一个漏洞是"可利用"还是"不可利用"，中间没有灰色地带，也不该有。
327 道题，考的是手上功夫
这套基准的题面铺在四块战场上：代码漏洞、API 安全、Web 安全、云安全。26 个模型被拆成 59 个智能体配置扔进同一池挑战。注意后一个数字比前一个大——他们评的不是裸模型，而是模型接上工具链、配上提示策略之后形成的那个完整作战单元。这个区分很关键。一个模型在聊天框里能把 OWASP Top 10 倒背如流，不代表它挂上 shell 之后，能从几万行日志里揪出真正那个注入点。知识是背出来的，手感是练出来的，基准要测的是后者。
能写成代码判的，绝不交给模型判
Wiz 的核心选择是确定性评分：结果对不对，由可执行代码说了算。漏洞有没有被触发、payload 有没有构造成功、目标状态有没有被改变，全是二值事实，非黑即白。评委偏见就这样被从流程里整个删掉了。代价当然有——每道题都得配一条能自动验证的成功判据，那些"谈谈你的理解""分析一下风险"的开放题基本出不了。出题成本陡增，题库扩张速度被死死压住。但换回来的是可复现性。而可复现性，恰恰是一个基准能不能活过两年的唯一分水岭。
四个靶场，四种完全不同的打法
代码漏洞：找到只是入场券
静态看一眼源码然后指出"这里可能有溢出"，是最廉价的安全表演。真正区分模型优劣的，是它能不能把怀疑变成证据——构造出能跑通的输入，让程序在它预期的地方崩掉。这条链子中间任何一环断了，前面所有的推理都白搭。所以这类题目的判分点往往不在"答案对不对"，而在"东西有没有真的发生"。
API 与 Web：攻击面是活的
Web 和 API 这两块的麻烦在于，它们不是静态的。一个越权问题可能藏在三层路由之后，一个认证绕过要你先搞懂业务逻辑怎么流转。智能体得自己发请求、读响应、改参数、再发一次。这中间它要处理几百条噪音，还要忍住不去追那些看起来很像但其实是蜜罐的线索。抗干扰能力，在这里比智商更重要。
云安全：魔鬼都躲在配置里
云上的事故，绝大多数不是零日漏洞打穿的，是某个角色权限给宽了、某个存储桶忘了关、某条信任策略写反了。这类问题的特征是：单看每一行配置都合理，连起来看才是一张通往核心资产的路线图。考的是长链条推理和全局视野，跟前三类题的气质完全不同。把它们塞进同一个基准统一打分，本身就是个不小的野心。
防作弊不是补丁，得当地基打
沙箱要关得住手，也要关得住眼
智能体在评测环境里翻文件系统、读环境变量、扫内网端口、偷偷调外部搜索接口——这些都不是假设，是反复被观察到的事实。一旦它绕过题目本身，从环境里把答案摸出来，这个分数就彻底作废了。所以隔离必须做在网络层、文件层、进程层同时下手，而且要在设计阶段就想清楚"它能看见什么"，而不是等榜单出来被人质疑了再补。评测环境本身，就是一个需要被攻防的对象。
题库要防得住记性
另一条更隐蔽的作弊路径是记忆。训练数据里如果恰好躺着这道题的公开版本、这份漏洞报告、这个 CTF 的 writeup，模型不需要会做，它只需要见过。防污染因此不能只靠事后抽查，得跟出题同步进行：题目要么来自内部构造的私有场景，要么经过足够程度的改写，让"背下来"这条路走不通。这件事没有一劳永逸的解法，只有持续投入。
拿到分数之后，别急着下结论
它是一张快照，不是体检报告
59 个智能体配置同场竞技，跑出来的名次只说明在这 327 道题、这个时间点、这套工具链下谁更顺手。换个工具、换套提示、换批题目，排序就可能翻个个儿。把榜单当成"某模型安全能力更强"的铁证，是把工程问题简化成了体育比赛。真正该带走的信息是：它在哪一类任务上塌方了，塌得有多彻底。这比排第几有用得多。
基准的寿命，比模型短得多
模型迭代以月计，一套基准从设计到被摸透，往往撑不过一年半。题做完了、套路被总结出来了、公开数据泄漏进训练集了，基准就开始钝化。所以 Wiz 把版本号推到 v3.9 这件事本身，比任何一个具体分数都更值得注意——它意味着这套东西是活的，是在被持续维护和加难的。任何一份不更新的安全榜单，本质上都是在讲过去的故事。
说到底，评测方法论的价值，从来不在于它能给出一个多权威的排名，而在于它逼着所有人把"你到底在测什么"这个问题回答清楚。Wiz 的答案未必是唯一解，但它至少没绕开最硌脚的那几块石头。
