ReproBAIT 这名字起得就带着点挑衅意味。英国 AI Security Institute 拉上生物安全机构 SecureBio,做了一套评测,核心问题只有一个:丢给 AI 编码智能体一篇公开论文,它能不能把论文里描述的生物 AI 工具重新造出来?注意,不是写个 demo、跑通一段玩具脚本,而是复现能用的 BAITs——生物 AI 工具。答案先放一边,这个问题本身已经够让人坐直了。因为它把一句常被挂在嘴边的担忧,变成了可以打分、可以复盘、可以横向比较的考题。
论文成了考卷,复现为什么偏偏是那块试金石
写代码容易,照着论文把东西做出来难
让模型生成一段代码,这件事今天已经不稀奇。稀奇的是另一层:论文不是代码仓库,它只给方法、给公式、给实验设定,大量工程细节藏在字缝里。参数学者没写全,预处理步骤一笔带过,超参搜索的范围含糊其辞。人类研究员复现一篇论文,经常要花几周甚至几个月,靠邮件问作者、靠试错补洞。AI 编码智能体要做的,正是这种“半开卷”的活。它得读懂方法,推断缺失环节,再把这些推断翻译成能跑的代码。这比让它从零写一个 CRUD 应用难得多,也危险得多。
智能体面对的是一张“半开卷”卷子
ReproBAIT 的设计里有个微妙之处:论文是公开的,训练数据里很可能已经躺着相关代码、相关讨论、甚至作者的 GitHub 仓库。那么,智能体到底是从论文里推理出来的,还是从记忆里掏出来的?这两件事的风险等级完全不同。前者说明模型具备科研级别的迁移能力,后者说明它记住了不该记的东西。评测要拆开的,正是这根线。说白了,生物 AI 工具的复现能力如果只是记忆的回放,那问题出在数据治理;如果是真正的推理重建,那问题就出在能力本身,而能力是收不回去的。
生物 AI 工具的门槛,没有想象中那么高
代码写完,离实验台还有多远
有人会说,代码复现出来又怎样,湿实验那一关过不去,照样白搭。这话对了一半。生物 AI 工具里有一大类,本身就偏计算:序列设计、结构预测、功能筛选、实验方案优化。这类工具的输出不直接等于危险品,但它能大幅压缩“该做什么实验”的搜索空间。过去一个团队要试几百个条件,现在模型先帮你筛到几十个。门槛不是被一脚踹开的,是被一点点磨低的。ReproBAIT 测的是代码层面的复现,可它真正指向的,是这条从屏幕通向实验台的传送带有多顺滑。
训练数据里埋着的捷径
更麻烦的是数据。生物领域的代码、协议、论文补充材料,大量散落在公开渠道。模型训练时吃进去多少,厂商自己都未必说得清。于是智能体在复现时可能走着一条奇怪的路径:它写出的代码看着像从论文推出来的,实际上是从某个论坛帖、某份课程作业里拼出来的。SecureBio 这类机构关心的恰恰是这个——你没法靠删掉几篇论文来堵住模型的知识,因为知识早就渗进权重里了。评测能做的,是把这个模糊地带照亮一块,让监管者和开发者都看清:哪些能力是涌现的,哪些是背下来的。
能力评估的风向,正从“会说”转向“会做”
能聊生物和能写出生物工具,中间隔着一道墙
过去两年,大部分 AI 安全评测还停留在对话层面:问模型怎么合成某个东西,看它会不会拒绝;给它一个敏感场景,看它会不会给建议。这套方法有它的价值,但越来越不够用。因为真正的风险不在于模型“说了什么”,而在于模型“做成了什么”。一个编码智能体能自己读文档、跑测试、改 bug、迭代版本,它更像一个初级研究员,而不是一个聊天窗口。AI Security Institute 把评测推到“动手”这一层,等于承认了一个现实:智能体的能力边界,得用任务来量,不能用问答来量。
红队测试的思路也跟着换了挡
传统红队是找人来挑模型的毛病,设套、诱导、绕过护栏。面对编码智能体,这套玩法得升级。你得给它一个真实的工作环境,给它工具链,给它几天时间,然后看它能不能把一个模糊的目标拆成可执行的步骤。ReproBAIT 本质上就是这种思路的产物:它不问你“会不会”,它让你“做出来”。这种评测更难设计,也更难作弊。论文可以换,工具可以换,唯一不变的是那个问题——公开信息加上模型能力,到底能走多远。
护栏不能只焊在模型出口
评测是起点,不是终点站
一套评测跑完,出一份报告,然后呢?如果只停留在“我们发现某模型复现成功率为 X%”,那意义有限。真正有用的是把评测拆成信号:哪一类论文更容易被复现,哪一步是智能体卡住的地方,哪些安全提示能有效降低成功率。ReproBAIT 的价值不在于给模型贴一个危险标签,而在于给开发者一张地图——告诉你能力长在哪,护栏就该装在哪。出口过滤只是最后一道闸,数据筛选、训练阶段的能力抑制、智能体运行时的工具权限控制,每一层都得有人管。
开放科学与生物安全,那根绳子一直在拉扯
还有一层不好明说但绕不开的矛盾。论文公开、代码开源、数据共享,这些是科学生态的地基。你不可能为了防住 AI 复现,就把生物领域的文献全锁起来。但反过来,当复现的成本被智能体压到极低,开放带来的风险敞口就在变大。这不是新问题,基因合成、病原体研究都经历过类似的拉扯。区别在于,这一次的加速器是通用 AI,它不只服务生物领域,它服务所有人。政策制定者要面对的,不是“要不要限制 AI”,而是“在哪个环节设卡,代价最小、效果最好”。
ReproBAIT 目前还只是一套评测,不是一纸判决。但它提出的那个问题会一直悬在那儿:当公开论文加上一个编码智能体,就能逼近一个可用的生物工具,我们到底该盯住论文,盯住模型,还是盯住那个把两者接起来的人?答案不会只有一条,但至少现在,有人开始把这道题认真写下来了。

