AI 编码智能体现在能跑通单测、能提PR、能改文件，但一个根本问题始终悬而未决：它到底有没有搞清楚开发者到底想要什么？Google Labs 最近的一篇研究博客把这个问题拎到了台面上——他们决定不再只看"任务完成没"，而是盯着一个更棘手的维度：主动性。他们把这套评估方法叫做"洞察策略"。说白了，就是让智能体先去猜测开发者脑子里那个模糊的高层级意图，再去动手改代码。这条路走通的前提是：你能从一团乱麻的代码库里反推出原作者当时到底想干嘛。
从单点修复到意图还原：一场评测范式的位移
过去几年，编码智能体的评估几乎是清一色的"功能赛跑"：给定一个 issue，看模型能不能把单测跑绿、能不能让 CI 通过。这种方式在 SWE-bench 等基准里跑得风生水起，但 Google 团队盯上的是一个被忽略的事实——开发者写代码时并不是冲着那个具体的 bug 去的，他们脑子里先有一个更大的方向，再往下拆解成具体的改动。
705 个 bug 与 1178 个提交记录
研究团队没有选择外部公开数据集，而是从 Google 内部代码库里捞出 705 个真实 bug，对应 1178 个变更列表（CL）。这个体量在工业界研究里已经算重资产投入。每个 bug 都不是孤立存在的，它牵连着周围的文件、关联着此前的修改、隐藏着未写进 commit message 的真实动机。把这些上下文摊开来，才有可能让智能体的"猜测"从盲人摸象变成有依据的推理。
时空近邻与语义相似度的双重锚定
如何从代码库的碎片信息里重建开发者意图？团队用了两条线索：一条是时空近邻，看哪些文件在同一时间段被频繁改动、哪些提交习惯性地出现在同一个 CL 里；另一条是语义相似度，把代码片段、注释、提交信息扔进向量空间做聚类。两条线索交汇的地方，往往就是那个被反复修订却没人明确说出来的"目标函数"。智能体如果能命中这个点，说明它真正读懂了代码库的"潜台词"。
Jules 的初步答卷：单轮 4.5 分背后的真实信号
理论再漂亮，落到具体模型上才有意义。Google 内部代号为 Jules 的编码智能体，成了这套评估框架的第一只"小白鼠"。结果不算惊艳，但足够让团队兴奋。
洞察相关性 4.5/5，不是一个数字那么简单
在单轮探索的设定下，Jules 对开发者意图的洞察相关性评分平均拿到 4.5/5。这个数字意味着什么？意味着在没有多轮反馈、没有人类提示的前提下，模型仅凭代码库本身的痕迹，就能把"开发者想要什么"猜个八九不离十。注意，它猜的不是"怎么修这个 bug"，而是"为什么要修这个 bug"——后者才是真正的智能起点。
探索预算从两轮扩到三轮：Hit@5 从 33% 冲到 57%
另一个更直观的数字：探索预算（允许智能体主动查看的轮次）从两轮增加到三轮时，Jules 的 Hit@5 准确率从 33% 攀升到 57%。将近一倍的跃升。这说明主动探索不是锦上添花，而是刚需——给智能体更多"东翻西看"的权限，它就能把上下文拼得更完整，命中真正意图的概率就越高。这条结论对所有做编码代理的团队都是个强信号：别把探索当成成本，它是能力的一部分。
把战场搬到 GitHub：评估方法的下一站
内部数据再丰富，也逃不开一个质疑：这是不是只在 Google 自己的代码风格里有效？团队显然也意识到了这一点，下一阶段的工作重心已经明确——把整套评估方法搬到公开 GitHub 数据上。
跨代码库泛化：风格、规模、协作模式的三重考验
公开 GitHub 仓库的复杂度远超内部场景。语言五花八门，提交规范参差不齐，开发者背景从学生到跨国工程师无所不包。在 Google 内部跑得通的语义聚类，换到外部可能就要重新调参；时空近邻的窗口设定也得跟着仓库的活跃度走。这不是简单的"换个数据集重跑一遍"，而是整个方法论的二次验证。
纳入问题追踪器与对话上下文
更值得期待的是，团队正在考虑把评估的输入维度从纯代码扩展到更丰富的上下文：问题追踪器里的讨论、PR 里的 review 评论、Slack 或邮件里留下的对话碎片。这些才是开发者意图的"高保真录音"。如果未来 Jules 能在看代码的同时读懂这些非结构化文本，它的洞察能力将再上一个台阶——当然，对评估方法本身也是一次彻底的考验。
重新定义"会写代码的 AI"
这套评估思路真正颠覆的不是某个分数，而是整个行业的评测坐标。过去我们问 AI "你能不能修好这个 bug"，现在 Google 问的是 "你知不知道我要修什么 bug"。前者考执行力，后者考理解力。执行力是体力活，理解力才是分水岭。当所有模型都能在 SWE-bench 上刷到 60%、70%，真正的较量会转移到"谁更懂人"这个维度上。Jules 的实验数据给出了初步的乐观信号，但离大规模落地还有距离——尤其是当代码库从受控的内部环境走向嘈杂的开源世界，洞察策略能不能保持稳定的命中率，是接下来一两年里最值得追踪的悬念。可以预见的是，这套"以意图为中心"的评测框架一旦在公开 GitHub 数据上跑通，必将成为下一代编码智能体的试金石。
