大模型学到的危险知识,终于有了一个真正可逆的删除键。Anthropic 和 AE Studio 联合提出的 梯度路由辅助模块(GRAM) 不走事后遗忘的老路,而是在 Transformer 每一层埋入可移除的神经元模块,训练时就逼着病毒学、网络安全、核物理这类 双重用途知识 老老实实躲进对应的模块里,绝不向全局参数扩散。
这套方案的精妙之处在于,它把安全取舍变成了物理动作。训练完成后,删掉对应模块,模型那部分危险能力就随之消失,恢复难度远高于基于梯度的“遗忘”技术;而如果场景可信,保留模块即可合规取用,通用性能完全不受牵连。实验横跨合成数据、真实数据,模型规模从 50M 一路拉到 5B 参数,GRAM 的效果稳稳比肩严苛的数据过滤,却没有牺牲任何通用指标。换句话说,你不必再为了剔除一粒毒药而把整个数据集重筛一遍。
这也许是最接近“开关”的一次安全对齐实践。以往的手段要么依赖训练时的拒绝样本,要么事后拼命让模型忘掉某类知识,结果总像打地鼠——换个提示词,危险能力又冒出来。而把敏感能力从结构上隔离、移除,等于直接卸掉了对应的齿轮。Anthropic 还没把这项技术部署到 Claude,但它已经指了一条更鲁棒的路:对付双重用途知识的扩散,堵不如隔,删不如拆。

