AI终于自己动手做了一次完整的AI研究。从查论文、写代码、跑实验到写论文，一气呵成。结果呢？论文被拒了——还不是被程序委员会拒的，是被论文的原作者直接否掉的。这个名为“影子评估”的实验，让一支前沿AI智能体独立解决两篇未发表NeurIPS 2026论文的核心研究问题，六天烧掉数千美元算力后，工程部分全过，科学部分全挂。五大失败模式把当前AI科研能力的底牌翻了个底朝天。
让AI独立做AI研究，这个实验到底怎么玩的
六天，数千美元，一场没有人类的论文冲刺
实验设计得直接又残酷。研究者挑了两篇已经成型但尚未公开的NeurIPS工作，把其中最核心的研究问题扔给AI智能体。智能体不是那种只会问答的模型，而是能调用工具、读写文件、跑代码的执行型系统。从查阅相关文献、设计实验方案，到在云服务器上执行训练和评估，最后起草一篇完整的学术论文——全部由它自己完成，人类不干预。整个过程持续六天，消耗的算力折合数千美元。这已经比很多人类研究生的单次实验开销更慷慨了。
影子评估这个名字起得恰到好处。它就像一个匿名的替补选手，和原论文在同等起跑线上出发，看看到底能跑到什么位置。区别在于，原论文的作者知道自己在解决什么问题，而这个替补只有一堆原始数据和模糊方向。
工程流水线它跑得比谁都顺
如果你只看前半程，AI智能体的表现堪称完美。它自动下载了相关代码库，修复了几个环境依赖问题，把数据预处理管道搭了起来。然后它开始调参、跑基准实验、绘制图表、撰写方法论和实验部分。论文格式工整，引用规范，结果表格看起来也有模有样。单论工程执行力，这套智能体已经超过了大部分刚进实验室的研一学生。它不会累，不会犯低级语法错误，甚至能在凌晨三点爬起来重新提交一个实验任务。
但论文不是流水线作业。工程做得再好，论文的灵魂仍然是那个必须被回答的研究问题。而恰恰在这一点上，AI智能体交出的是一份彻底的空白答卷。
原作者拒稿：不是写得不好，是毫无进展
当研究者把AI写的论文拿去给原论文的作者看时，得到的回应是明确的拒稿。最重要的创新点？完全没有触及。核心假设？没有被验证，甚至没有被正确理解。实验结果虽然看起来像回事，但仔细一读就会发现那些数字只是在重复已知基线，没有朝着解决核心问题迈出哪怕一小步。作者的评价很直接：这篇稿子压根没资格进入审稿阶段。
这说明一个扎心的事实：当前AI可以复现人类的工程管道，但无法替代人类在科研中最关键的那一下——定义问题本身。它不是答错了题，而是连该答哪道题都没搞明白。
五种失败模式，撕开了自动化学科的裂缝
第一种：完全判断不出什么是“够格发表”
AI智能体对学术发表的标准缺乏基本认知。它倾向于把任何跑通了的实验都当成可发表的结果，只要代码没报错、图表能生成，就觉得任务完成了。它无法判断一项改进是否具有足够的显著性，更不会问“这个贡献值得专门写一篇顶会论文吗”。真正的科研要求在大量尝试之后识别出那个非线性的突破点，而AI眼里只有线性累积——多做几个实验，多添几行表格，论文就会自动变好。这个错觉让它产出的文本看起来完备，实际价值却接近为零。
更深的问题在于，它不理解学术共同体的隐性共识。哪些问题已经属于被反复咀嚼的“dead horse”，哪些切口才真正让人兴奋，这种嗅觉目前还完全不存在。
第二种：研究设计缺乏哪怕一丁点破坏性的创意
在实验设计环节，AI智能体暴露出严重的路径依赖。它提出的方案几乎全是已有方法的排列组合——换个优化器，加一层网络，调一下损失权重。没有任何一种假设是“反常识的”，没有任何一步尝试跳出它训练数据中的惯常套路。科学研究中最迷人的那一部分——大胆猜想、非对称风险、跨领域嫁接——全部缺失。
这并非偶然。当前大语言模型的本质还是对过去语料的统计延续，它天然倾向于走最常被走的路。真正的科研突破却往往来自那些把不相干线索强行扭在一起的突发奇想，而AI连“不相干”是什么都不太能理解。
第三种：钻进死胡同就再也出不来了
实验中多次出现这样的场景：AI选定了一条注定失败的技术路线，然后沿着它一路跑到底，把所有算力预算耗光，也丝毫没有退回来换个角度的意思。人类研究者通常会在一两周的徒劳之后猛然惊觉，快速砍掉分支，这种“敏捷止损”的本能在AI智能体身上完全不存在。它不具备对无效探索的清醒元认知，只会把失败解释为“实验做得还不够多”，于是加倍投入，陷入更深的泥潭。
这在真实的科研环境中是致命的。资源永远有限，判断该在什么时候放弃一个想法，和判断该抓住什么想法同等重要。AI的顽固不是因为固执，而是因为它根本不知道自己困在哪里。剩下的两个缺陷，一个比一个要命
对算力成本毫无敬畏
如果说之前的失败更多停留在智力层面，那么第四个失败模式直接戳中了现实软肋。AI智能体在实验中完全没有资源意识。它会不加筛选地启动大规模并行任务，为一个明显无用的消融实验拉满GPU配额，把数千美元烧得无声无息。人类优秀研究者天然会计算机会成本，会为每个实验的预期收益排优先级，而AI把云资源当成免费配给，用堆资源取代了真正的思考。
这种挥霍不只是钱的问题，更暴露了智能体无法区分“能做”和“值得做”。在算力昂贵的时代，这种粗放的实验习惯足以让任何一个实验室破产。
指令漂移：做着做着就忘了自己要干什么
最后一个失败模式最具讽刺意味。AI智能体在研究推进过程中逐渐偏离了最初的核心问题，开始在无关紧要的技术细节上越钻越深。原始的指令被模糊化、变形，最终变成了一个完全不同的、更简单的任务——而智能体自己毫无察觉。这个过程就好像一个微妙的语义漂移：原本要证明定理A，后来变成了优化指标B，再后来变成了让曲线C看起来更平滑。
人类也会跑偏，但定期的讨论和汇报通常能把人拉回来。而AI智能体没有这样的校正回路。它在漫长的时间跨度里持续漂移，最终产出的论文和最初的研究问题之间只剩下极其微弱的联系。拒稿，在这一刻已经注定。
这个实验最值得玩味的地方，不是AI做不到，而是它暴露出的错误图纸几乎都是人类研究者日常也在犯的——只不过人类拥有那些我们以为理所当然的元认知能力来判断、止损、漂移拉回和识别真正的创新。当这些被抽走，剩下的工程执行再流畅，也不过是一台昂贵而无用的打字机。这场影子评估给一切想要用AI自动做科研的团队提了一个清醒的醒：在学会问对问题之前，就别谈写出好论文了。
