英国 AI Security Institute 干了件在旁人看来有点反常的事。一个盯着 AI 风险的政府机构，没去买更大的模型，也没去调 API，而是从零预训练了一批蛋白质语言模型，参数从 800 万一路铺到 30 亿。他们想验证的东西朴素得近乎枯燥：预训练阶段的数据过滤，对专业科学模型到底意味着什么。这件事被写进 AISI 博客时篇幅不长，但它戳中的位置很准——生物基础模型这几年越做越大，可关于"数据该怎么洗"的公开讨论，少得不成比例。
安全机构自己下场，图的是什么
开源权重跑在了监管前面
蛋白质语言模型这个圈子里，开源几乎是默认选项。Meta 的 ESM 系列把权重直接放出来，任何人下载、微调、再分发，不需要申请，也不需要报备。这本是学术生态的好事，但对一个要评估生物安全风险的机构来说，麻烦在于：你没法只靠读论文判断一个权重放出去之后会被拿去做什么。
要评估，就得有能反复跑的基线。拿别人的权重做安全测试，等于在别人搭好的房子里找裂缝——哪面墙是承重的、哪根梁被改过，你并不清楚。AISI 的 Chem-Bio 团队选择从零训，本质上是在给自己造一套可控的参照系。
800 万参数是刻意压到的下限
8M 这个规模放在今天不值一提，但它是整个实验的锚点。小模型训练成本低，一组对照跑下来用不了多少算力，可以把变量拆得很细。往上排到 3B，是为了够到"有实用价值"的门槛——再小就检测不出下游任务上的差异了。
中间铺开的几个档位，作用不是找最优点，而是看趋势。单点实验结果很容易被初始化、学习率这些因素带偏，一条有七八个采样点的曲线，才能说明数据过滤的影响是随规模放大还是被稀释。
数据过滤，专业模型里最容易被糊弄的一环
蛋白质数据库从来不是干净语料
ESM-2 这类模型的训练语料主要来自 UniProtKB。这个库的内容质量参差不齐得厉害：同一个蛋白在不同物种里各存一份，同一份序列被不同团队重复提交，还有大量低复杂度区域和测序错误残留。对通用语言模型来说，这些顶多算噪声；对蛋白质模型，它们是结构性污染——模型可能把"某类序列在数据库里出现次数多"误当成"这类序列在生物学上更重要"。
常见的处理手段是去冗余、按长度截断、过滤低质量注释。每一步都有代价。去冗余太狠，稀有蛋白家族被一并抹掉，模型在长尾任务上直接失明；放得太松，算力全花在重复模式上，等于用三倍的 token 换一倍的 information。
过滤到什么程度算够，没人给过标准答案
通用大模型领域已经有一套相对成熟的数据配方讨论，Common Crawl 怎么清洗、代码数据怎么去重，论文里写得明明白白。生物序列这边差得远。多数蛋白质模型的论文只用一两句话交代数据处理，读者根本没法复现。
AISI 这项研究的价值，有一半在于它把这个模糊地带变成了可测量的对象。过滤强度作为自变量，模型规模作为另一个自变量，下游任务表现作为因变量——这套设计不复杂，但此前很少有人认真做过。
参数变小，数据账本的分量反而变重
容量有限时，喂什么比喂多少更要紧
大模型有足够的参数容量去吸收数据里的噪声，小模型没有这个余裕。同样一批带偏的序列，喂给 150 亿参数的模型，可能只是轻微拖累；喂给 800 万参数的模型，直接决定它学到的是生物学规律还是数据库的收录习惯。
这也解释了一个常被忽略的现象：很多小规模专业模型在 benchmark 上表现不错，换一个数据分布就崩。问题往往不在架构，而在预训练时没人认真对待过语料里的偏倚。
3B 是个可负担的观察窗口
ESM-2 家族最大做到 150 亿参数，AISI 把上限压在 3B，是个务实的选择。再往上，单次训练的算力和时间成本会让"多档位对照"变得不现实。30 亿参数在蛋白质模型里属于中量级，足够展现规模效应，又不至于让实验变成一次性投入。
更关键的是，3B 附近的模型恰好是学术界和中小团队最常微调的区间。这里的结论，能直接指导更多人的实际工作。
权重开放这件事，安全研究绕不开
一个下载链接就是一道防线缺口
蛋白质语言模型本身不制造危险，但它能降低某些工作的门槛。设计新序列、预测结构、优化结合亲和力——这些能力被封装进一个几 GB 的权重文件，传起来比一篇论文还方便。想监控谁能用、用来干什么，技术上几乎不可能。
AISI 的处境有点尴尬：它要评估的正是这类难以追踪的风险，而评估对象又是公开可得的。自己训一批模型，至少能确保实验条件完全透明，结论不依赖外部团队是否愿意配合。
没有基线，安全评估就是空谈
生物安全领域的模型评测，目前缺的不是工具，是参照。一个模型在某个毒性预测任务上得了 0.8 分，这算高还是低？跟谁比？如果连同架构、同数据、不同过滤策略的对照组都没有，分数本身说明不了什么。
这批 8M 到 3B 的模型，实际作用更像是标尺。后面再有新的开源蛋白质模型放出来，研究者可以拿它跟这组基线比，看能力提升来自架构、规模，还是单纯因为训练数据更脏、覆盖更广。
做科学模型的人能拿走什么
数据配方该写进正文，而不是塞进附录
这项研究最直接的提醒是：预训练数据处理不是工程琐事，它塑造模型的能力边界，也塑造模型的安全属性。一个在去冗余上偷懒的模型，可能在某些生成任务上更"敢写"，而这种表现会被误读成能力更强。
写论文的人如果只报告架构和最终指标，读者就没法判断结果有多少来自数据。把过滤规则、阈值、丢弃比例摊开写，成本不高，但对复现和后续比较的价值极大。
小模型是最便宜的探针
不是每个团队都有资源训 3B 模型，但训一个 8M 的并不难。用小模型快速验证数据配方的方向，再决定要不要往大模型上投入，这条路径在生物序列领域完全走得通。AISI 的实验设计本身就是个模板：多档位、单变量、下游任务对齐真实需求。
把数据过滤当成模型能力与安全属性的共同源头，而不是训练前的一道例行公事——这大概是这项研究最值得被记住的地方。生物基础模型还会继续变大，但数据这一关，绕不过去。
