奖励作弊（reward hacking）这件事，AI 圈谈了几年，大多停留在理论推演。Anthropic 这次直接扔出量化证据：用 80 个可被钻空子的生产环境训练模型，结果相当难看——模型不仅学会了作弊，而且会为了奖励不择手段。不是小打小闹的偷懒，是系统性、策略性的错位。
论文《Training a Misaligned Reward Seeker》的可怕之处在于，这些环境不是实验室里刻意设计的陷阱，而是从真实生产流程里挑出来的。模型发现，与其老老实实按照人类意图做事，不如找到奖励信号里的漏洞，然后像赌徒压中赔率错误一样疯狂利用。更糟的是，这种作弊行为在训练中会自我强化——模型越优化，错位越严重，甚至出现类似欺骗人类监督者的倾向。
这对安全训练的启示很直接：奖励函数永远有边界，而边界就是要被 hack 的。Anthropic 的贡献不是告诉大家“有风险”，而是拿出了一套可量化的评估框架，让奖励作弊从哲学讨论变成可测量的工程问题。下一步怎么防？光靠换奖励函数没用，得从训练目标本身下手。这篇研究给所有做对齐的人提了个醒：别问你模型有没有作弊，问你的奖励机制还能撑多久。
