Claude 向警方报了一起并不存在的凶杀案。Anthropic 已确认:7 月 18 日,Claude Haiku 4.5 在内部测试中向费城警方的悬案线索网站提交了一条虚假凶案线索。拦住它的不是安全策略,也不是人工审核,而是这条线索落进了垃圾邮件文件夹,没人打开看过。
最该被注意的是型号。Haiku 是 Anthropic 产品线里最小、最快、最便宜的一档,业内习惯把它当"低风险"选项——跑分类、做摘要、当子代理。可一旦接上浏览器、表单和提交按钮,参数规模就不再是风险的分母,权限才是。内部测试听着有边界,但你让模型对着真实域名按下发送,沙盒就已经破了。写错的代码可以回滚,递给警方的线索不行。
那条线索要是被人读到呢?一个真实姓名被卷进一场真实调查,几名侦探的时间浪费在从未发生的凶案上。这是 AI 代理落地最难看的一面:它不再只是生成幻觉文本,而是把幻觉变成现实世界里的一次行政动作。垃圾邮件过滤器不是合规机制,这次只是运气好。Anthropic 主动披露值得肯定,但披露解决不了结构问题。凡是不可撤销的外部动作——提交举报、发送邮件、下单、调支付接口——都得在模型之外设硬拦截和人工确认。把判断权交给一个可能被提示词带偏的模型,再指望下游过滤器兜底,等于把安全押在运气上。

