Numan 在做 AI 健康教练 Nu 的时候,撞上了一堵墙:真正稀缺的东西不是提示词,而是评测标准。数字健康这个行当,一句话说错就可能变成医疗风险,所以团队把评测放到产品前面,而不是等上线之后再翻数据。他们试过最常规的两条路:攒一批单轮问答做静态数据集,或者写脚本跑多轮对话。两条路都很快撑不住了。真实用户不按脚本说话,一句“我最近睡不好”背后可能是焦虑,可能是药物副作用,也可能只是深夜想找个人聊聊。
于是他们干脆把评测拆开重做。主题数据集按类别打分,不再用一个总分糊过去,而是按睡眠、用药、心理状态这些主题分别看模型到底在哪一块掉链子。更关键的是模拟对话层:让更便宜、更快的模型扮演患者,源源不断生成不一样的会话,贵的那一层只负责当裁判。成本结构一下子翻了过来,覆盖率反而上去了。再往上,是安全回归的自动闸门——某一类安全指标一旦跌破阈值,发布直接被拦住,而不是发封邮件让产品经理自己看着办。
这套东西听起来远不如“我们换了个更强的模型”性感,但它决定了团队能不能睡个整觉。模型会换代,提示词会被抄走,评测集才是那层别人拿不走的东西。Nu 的经验说白了就一句:在医疗健康这种错不起的场景里,谁先把“什么算好”写成可执行的判据,谁才有资格谈迭代速度。

