17.8%。这就是当前最强AI编码智能体在Nature级科研任务上的天花板——90个从Nature系列同行评审论文中提取的真实研究任务，禁用网络搜索的严格协议下，跑出来的最好成绩。这个数字来自NatureBench，一个刚刚发布的跨学科基准测试。它的结论既浇冷水，也画地图：科研自动化远没有到"AI科学家"的程度，但瓶颈在哪、路线怎么走，第一次有了系统性的答案。
一场不给开卷的考试
90道题，容器化考场
NatureBench的设计逻辑很硬核。基准作者没有用合成数据糊弄事，而是从Nature系列同行评审论文里直接抽出90个任务，覆盖机器学习、生物信息学、材料科学等跨学科领域。每一个任务背后都对应一篇已发表论文及其State-of-the-Art（SOTA）结果——这意味着AI智能体不是"瞎猜"，而是要真正复现或超越人类已证明的最优解。
环境碎片化是过去所有代码基准测试的噩梦。同样是"跑一个蛋白质折叠实验"，不同论文用不同版本的依赖库、不同格式的数据集、不同系统的超参数配置，智能体经常被环境问题绊倒，而不是被真正的科研难题卡住。NatureBench配套发布了NatureGym自动化管线，为每个任务提供标准化容器化环境，确保所有智能体面对的是同一张考卷、同一条起跑线。
禁用搜索引擎的潜规则
测试协议里有一条值得所有关注者记住：禁用网络搜索。这个限制是刻意的。真实科研工作不是"上网搜答案"，而是基于已有信息做推理和实现。如果允许AI调用Google Scholar直接抄论文方法，任何基准都会退化为检索能力测试——而检索恰恰是大语言模型最擅长的事情。砍掉这根拐杖，才能看清智能体真正的科研工程能力。
谁考了第一？怎么赢的？
方法翻译，不是发明
10种前沿智能体配置参赛，最强模型仅在17.8%的任务上超过已发表SOTA（统计学显著性阈值g>0.1）。这个数字看上去惨淡，但仔细分析胜出的样本会发现一个有趣的现象：智能体成功的主要方式并非"提出新方法"，而是方法翻译——把论文里用文字描述的算法精准转化成可执行代码。
说白了，AI赢在执行力，而不是创造力。一篇Nature论文的方法部分往往写得高度凝练，省略大量工程实现细节。智能体的核心价值是补全这些"留白"——把"我们使用Adam优化器，学习率设为1e-4"扩展成完整可跑的PyTorch训练循环。这本身就是一种高价值的科研辅助，只不过距离"AI发现新科学"还隔着至少一个量级的距离。
算力和方法选择，两座大山
失败案例的分析更有指导意义。NatureBench的诊断指出，智能体失败的首要原因是方法选择错误——智能体选错了要复现的算法，或者对方法的理解本身就有偏差。其次是计算预算不足，训练深度学习模型动辄需要数百GPU小时，智能体分配的预算经常不足以收敛到SOTA水平。
还有一个容易被忽视的失败模式：静默bug。智能体生成的代码看起来能跑，损失函数在下降，但实现细节和原论文有微小偏差，导致最终性能永远够不着论文报告的SOTA。这类问题不像语法错误那样容易被捕获，是科研智能体走向实用化必须解决的核心挑战。
开源生态和排行榜的下一步
NatureGym管线的工程价值
NatureGym的意义可能比NatureBench本身更大。容器化科研环境一直是学术界的痛点：每个研究组维护自己的一套Docker镜像，论文发表后半年内能复现的概率不到30%（来自多项独立调查的估计）。NatureGym把90个任务的完整环境打包发布，相当于给社区提供了一个"即插即用"的科研代码沙箱，后续研究者可以直接基于这套基础设施开发新方法、测试新智能体。
这种"基准+管线+排行榜"的三件套模式，正在成为AI for Science领域的标准打法。基准定义问题，管线保证公平，排行榜驱动迭代——三者形成正反馈循环，让整个领域有明确的进度刻度。
路线图的隐含信号
17.8%这个数字划出了一条清晰的战线：在纯粹的科研复现任务上，当前AI编码智能体的能力上限大约是"六分之一的人类SOTA"。如果把任务难度从"复现"升级到"改进"——即在论文基础上做出性能提升——成功率会进一步跳水，因为后者需要方法创新，而不仅仅是方法翻译。
对于正在做科研智能体的团队，NatureBench给出的信号很直接：与其追求"AI自主发现新科学"的宏大叙事，不如先把方法翻译做到极致，解决静默bug问题，设计更智能的计算预算分配策略。这些"脏活累活"才是科研AI从演示走向实用的真正壁垒。Nature系列论文级别的复现能力一旦普及，人类研究员就能从繁琐的工程实现中解放出来，把精力集中在问题定义和方法构思上——这可能才是NatureBench对未来科研范式的最大启示。
