模型答对了,不等于它用对了方法。Goodfire Research 新近发布的 mechanistic shaping 框架,把这句话从一种模糊的担忧变成了可以动手训练的目标:不改答案,改的是模型内部那条通向答案的路。具体做法听起来像给神经网络做定向手术——惩罚模型对某个概念的依赖,或者惩罚它把某个概念表达出来,然后盯着监控探针看它怎么失灵、又怎么恢复。
答对,只是结果
一条正确答案,两条来路
模型做对一道题,可能因为理解了规则,也可能因为抓住了数据里的伪相关、位置线索、标注习惯。两种路径在输出层看起来一模一样,在内部表征里却可能差得很远。mechanistic shaping 的出发点就在这:如果训练只奖励最终答案,模型完全有自由选一条更省力的歪路。问题不是它答错了,而是它答对了,你却不知道它怎么答的。
惩罚“靠它”,也惩罚“说它”
论文把干预拆成两种。reliance shaping 盯着模型对某个内部概念的依赖程度——你可以把它想成“这道题我不看这个特征也能做”。expression shaping 则盯模型有没有把那个概念表达出来,哪怕它没靠这个概念得出答案。前者改的是决策依据,后者改的是内部表征的可见度。两个词都叫 shaping,一个动的是因,一个动的是果;一个管使用,一个管呈现。
探针不是旁观者
可解释性研究里常用的监控探针,本质上是从模型内部表征里读信息。它假设某个概念在表征空间里有一个相对稳定的方向或模式。可一旦训练过程开始惩罚对概念的依赖或表达,这个假设就悬了。探针读到的不是固定的世界,而是被训练目标不断重塑的世界。这篇论文真正有意思的地方,是它没有把探针当成外部评估工具,而是把它放进了训练动力学的视野里。
两把刀,切的不是同一块肉
reliance shaping:断掉捷径
reliance shaping 的逻辑很直接:如果模型过度依赖某个概念来解题,就在损失函数里对这个依赖加惩罚。它不是把概念从模型里删掉,而是让模型学会“不靠它也能走通”。这跟传统正则化有相似之处,但目标更语义化——不是压权重范数,而是压某个可解释概念的因果作用。难点在于,你得先能定位这个概念,还得能度量依赖。定位错了,惩罚就打在空气上;度量粗了,模型可能换个马甲继续依赖。
expression shaping:管住“嘴”
expression shaping 更像是在管模型的“内心独白”。有些概念模型未必拿来解题,但会在内部表征里亮起来。表达塑造惩罚的是这种亮起本身。它适合处理那些“说出来就不对”的场景,比如模型在内部激活了某种偏见相关概念,哪怕最终输出没受影响。问题是,表达和依赖并不总是一回事。压住表达,可能只是让概念变得更隐蔽,未必改变模型的真实决策路径。
训练信号落在哪,差别就在哪
两种 shaping 的差别不在技术细节,而在它们假设的因果链。reliance shaping 假设“用了才可能错”,所以切断使用;expression shaping 假设“亮了就有风险”,所以压低亮度。前者更接近行为矫正,后者更接近表征净化。论文把两者放在同一个框架下比较,价值在于逼着研究者回答一个问题:你到底想改模型的哪一层?是决策依据,还是内部可见性?这两个目标并不天然一致,甚至可能互相拉扯。
探针失灵之后
概念被压下去,探针先懵
监控探针依赖内部表征的稳定性。训练中一旦对特定概念施加惩罚,表征分布就会移动。探针原本学会的“这个概念长这样”可能迅速失效。论文系统评估了这种退化:不是探针坏了,而是它追踪的目标被训练改变了形状。这个发现听起来像技术细节,实际上很要命——很多安全监控方案默认表征是相对静止的,训练是训练,监控是监控。mechanistic shaping 把这个假设撕开了一道口子。
恢复不是自动发生的
更值得看的是恢复。探针在训练过程中退化之后,会不会随着训练继续自己缓过来?论文的评估给出了更复杂的图景:有些探针能恢复,有些不能,恢复程度和惩罚强度、概念类型、训练阶段都有关系。这说明监控工具不是装上去就一劳永逸的。模型在变,探针也得跟着变。把可解释性当成一次性验收,在动态训练面前基本站不住。
可解释性工具需要压力测试
这件事对整个可解释性领域都是一个提醒。我们评价一个探针,通常看它在静态模型上的准确率。但真实部署里,模型在持续训练、微调、对齐。探针能不能扛住训练动力学的冲击,应该成为标准测试项。Goodfire 的工作相当于给探针做了一次压力测试,结果不算好看,但很有必要。知道工具会在哪里失灵,比假装它不会失灵强得多。
别把它当成万能钥匙
过程监督的野心,和它的账单
mechanistic shaping 的野心很明显:让训练目标从“答对”升级到“用对方法答对”。这比只做结果监督更接近人类想要的对齐。但账单也不小。你得能定位概念,能度量依赖或表达,还得承受训练过程中的副作用。概念定位本身就不是成熟工程,不同层、不同模型、不同任务,找到的东西可能完全不一样。更别说惩罚一个概念,模型可能绕道去用另一个你没监控的概念。
一个更棘手的问题
如果模型学会了在受监控的概念上“收敛”,但在别的表征维度上重建同样的捷径,shaping 就可能变成一场打地鼠。论文没有回避这个张力,但也没有给出终极答案。这其实是所有内部干预方法的共同困境:你改的是你看见的那部分,模型还有大量你没看见的部分。监控探针退化与恢复的研究,恰恰说明“看见”本身也是动态的、会受干预影响的。
下一步该盯什么
接下来值得关注三件事。第一,shaping 的目标概念能不能自动发现,而不是靠人工指定。第二,探针的恢复机制能不能被主动设计,而不是被动观察。第三,这套方法在真实对齐流程里能不能和 RLHF、Constitutional AI 这类手段配合,而不是互相打架。Goodfire 这篇论文更像一张地图,标出了几条路和几个坑,还没到宣布终点的时候。

