一个有点反直觉的实验结论：OpenAI 用强化学习在真实对话里训练模型展现诚实、认知谦逊和可纠正性等有益特质，训练数据只覆盖健康、教育、法律、工程等少数领域，结果模型在数十项完全没参与训练的独立对齐评测上全面变好——包括奖励黑客、欺骗性回答、有害建议这些难啃的硬指标。更值得注意的是，这种改善并非"过拟合于训练场景"，而是真正泛化到了未见过的领域、任务乃至评分体系。换句话说，模型学到的不是"在健康问题上怎么装老实"，而是某种更底层的对齐能力。这种跨域迁移在 AI 安全研究里一直是个老大难问题，绝大多数对齐手段只在训练分布内有效，一出训练场景就现原形。这次实验至少证明了一件事：有益行为的强化学习如果设计得当，确实能在模型内部留下比预期更持久的痕迹。
另一个值得关注的数据点是对抗鲁棒性。在对抗性提示甚至对抗性微调的压力测试下，经过有益特质训练的模型很难被诱导回有害行为模式。这不等于模型已经"对齐完成"——距离实际部署还有相当距离，评测覆盖面、训练规模、可扩展性都还有大量未解答的问题。但它给出了一个方向性信号：与其在每一个细分场景里单独打补丁，不如在训练阶段就建立一种更难被逆向工程攻破的内在倾向。这条路能不能走通、走多远，目前还是开放问题。但对于一直在黑暗中摸索的 AI 对齐社区来说，这至少是一束还算亮的光。
