OpenAI 又给自己挖了个不大不小的坑。自 9 月 3 日发布 GPT-6 Astra 公告以来,这家公司被曝多次修改评测基准数据。Fortune 通过网页快照发现,Astra 的幻觉率曾从 4.2% 降至 2%,随后又悄无声息地改回。数字在自家公告里反复横跳,发生在整个行业对 AI 安全高度警觉的当口,实在不太体面。
幻觉率从来不是可以随意揉捏的次要指标,它是大模型可信度的核心。一个开源模型如果谎称“我不知道”,用户最多抱怨一句;但一个号称顶级模型的系统若把幻觉率宣传得低不可攀,却拿不出稳定复现的评估条件,那问题就大了。修改基准数据不必然等于作弊——提示词不同、评测集版本迭代、抽查样本变动,都会让数字上下浮动。OpenAI 的做法真正欠妥的地方在于,它没有发布任何变更说明,只用静默编辑覆盖了旧公告。外界看到的,不是一个严谨的技术团队在做版本管理,而是一个营销部门在趁人不备调整“宣传口径”。
这种操作的代价,最终会落在整个行业的信任账上。基准测试的价值建立在透明、可比、可复核之上。今天你改一个幻觉率,明天谁还相信你公布的推理得分?OpenAI 也许觉得改个把百分比无伤大雅,但在众目睽睽之下,任何“美化”都会被放大成恶意。与其事后删改旧数字,不如把评测方法、数据切片和原始记录一并亮出来,让大家看看 4.2% 和 2% 之间,到底差了什么。

