模型上线前最难回答的一个问题是：它在真实世界里到底会表现成什么样？OpenAI 刚公开的 Deployment Simulation 方法,直接拿 130 万条真实对话做了一次大胆实验——把历史对话在隐私保护框架下重放,用候选模型重新生成回复,以此估算模型部署后出现不良行为的频率。结果相当硬核：在多个 GPT-5-series Thinking 版本的部署预测中,这套方法把传统评估的误差比压到了 1.5 倍以内。换句话说,过去靠人工标注和合成数据搭起来的预发布评估体系,确实存在系统性盲区。
传统评估的老毛病,从业者心里都清楚。测试集覆盖度不够、标注者倾向于挑选"有意思"的样本、模型本身还能识别出哪些 prompt 是测试题然后刻意表现良好——这些问题困扰安全团队多年。Deployment Simulation 的思路转变在于,它不再依赖人工构造的测试集,而是直接采用真实对话的分布特征,让模型在接近自然使用的语境下被检验,由此发现了若干此前对齐流程未触及的新型问题。更值得注意的是,该方法已扩展到涉及工具调用的智能体场景,覆盖范围从纯文本对话延伸到了 Agent 行为评估。
当然,方法并非万能。OpenAI 坦承,Deployment Simulation 无法测量频率低于每 20 万条消息 1 次的极低概率行为,这意味着稀有但高风险的失效模式仍需依赖专门构造的对抗测试来兜底。但作为预部署环节的标准动作,这套仿真机制很可能改变行业节奏——未来模型发布前的最后一道闸门,不再是静态测试集上的得分高低,而是一场基于真实流量回放的"压力面试"。
