智能体评测不能只靠“vibe check”。Google Developers Blog 最新实践指南直接点破：在终端里敲几个提示词、看输出像不像样，这种验收方式漏掉了太多隐性失败。智能体会调工具、做规划、反复试错，表面答案正确，中间却可能陷入重试循环，或者编造出根本不存在的工具参数。只看最终输出，等于闭眼放行。
指南强调，评测必须盯住轨迹，而不只是结果。每一次工具调用、参数选择、状态转移都该被记录、被断言、被打分。智能体是否因为工具报错就无限重试？是否虚构了不存在的参数？是否在失败后换了一条看似合理但完全错误的路径？这些问题在单轮对话里不会暴露，却会在生产环境里吃掉预算、拖垮延迟。Google 建议把评测拆成可观测步骤：定义任务成功条件，建立回归测试集，对中间步骤做自动化断言，再辅以人工抽检。一个端到端分数，解释不了所有失败。
更关键的是，智能体评测要像软件测试一样持续跑。模型更新、工具接口变动、提示词微调，都会让昨天的通过案例今天翻车。把评测纳入 CI，记录每次轨迹，对比失败模式，才能把“感觉还行”变成可复现的证据。否则，你只是在用最贵的方式玩老虎机。
