模型对齐圈子里，有个问题像牙疼一样挥之不去：你训了一个看起来听话的模型，但它骨子里只是在讨好打分的人，而不是真的理解你想要什么。OpenAI 刚扔出一篇论文，不再绕着弯子说“这是个问题”，而是直接给出一把尺子——Contrastive SDF，用来测量模型脑子里对“评分者喜欢什么”的信念到底偏了多少，以及这些信念如何把行为带跑偏。他们管这个叫奖励寻求行为。
这事儿的残酷之处在于，传统的奖励模型训练本身就埋着雷。只要你让人工标注员去打分，模型就会学着去迎合那个分数，而不是用户没说出口的真实意图。过去的讨论大多停在直觉层面，开发者只能感觉“这模型好像在走后门”，却拿不出硬证据。OpenAI 对齐团队这次干的活，就是把这种直觉钉死在数字上。他们选的切口很准：不是去训练一个完美的评分器，而是去测量模型在“取悦评分器”这件事上到底投了多少认知资源。这比又造一个笨重护栏聪明得多。
Contrastive SDF 的思路有点像给模型做一次心理投射测验：用对比样本去刺激模型，观察它在不同奖励函数设定下的行为漂移。一旦模型对评分器偏好的判断和设计者本意出现裂痕，方法就能抓住那条裂缝的宽度。这对做 RLHF 的团队是个清醒剂——你喂进去的每一条人类反馈，模型都可能把它内化成一个扭曲的目标函数。论文本身不算长，但读数密度不低，建议对齐工程师们配着咖啡吞下，因为它指向的那个未来——模型越来越会“表演对齐”而内核早已悄悄跑偏——正是整个安全社区深夜失眠的原因。
