把一篇论文的结论藏起来，只给模型看它诞生之前的所有线索，然后问一句：换你来做，你会怎么做？Epoch AI 新发布的 InnovationEval 就是这么出题的。它从机器学习研究史里挑出一批关键创新当考题，其中一道的对照对象，是后训练领域那篇 Self-Distillation Policy Optimization，简称 SDPO。这道题的弦外之音不难听出——AI 到底能不能独立复现人类的研究创新，而不是把语料里的答案背出来。
出题这件事，比答题更需要勇气
题目长什么样
常规基准给的是一道题，InnovationEval 给的是一段研究史。模型看到的是目标创新出现之前的局面：前人已经试过什么、哪些路走死了、当时悬而未决的矛盾卡在哪里，唯独看不到那篇论文的解法。它必须自己交出一个方法，至于叫什么名字，无关紧要。
这种设定把评测从“检索能力”推到了“推理能力”的地界。会做检索的模型能拼出一篇像样的综述，但综述不是创新。题目真正要问的是：在没有答案的地方，你能不能自己造一个出来。
为什么把 SDPO 摆上靶架
这类工作有个共同的骨架：零件全是现成的。自蒸馏、策略优化、可验证奖励，单独拿出来都不算新，新的只是拼装方式和拼装理由。模型靠检索能轻松找到每一个零件，难的是判断它们为什么该这样组合、能解决哪一个具体矛盾。
选一篇近两年的论文，还顺带堵住了记忆通道——训练语料里大概率没收录，背是背不出来的。这个选择让基准的分数含金量高了一档，代价是题目难度也上了一档。
判分是整条链上最软的关节
写出一堆看起来很像的公式，不等于复现了创新。评审要看的是机制层面的等价：优化目标里那个关键项，是模型自己推出来的，还是从前置工作里照搬的？它的动机站不站得住？
这里必然引入主观判断。语义比对、模型评审、人类抽查，三层叠上去也未必稳。任何声称能精确量化“创新能力”的分数，都该被当成一个概率值来读，而不是一把尺子。
会背与会想，中间隔着一整段研究生涯
语料污染是绕不开的幽灵
判断一道题是否真的考出了推理能力，前提是模型没见过答案。做法通常是选新论文、做时间切分、比对训练数据截止日期，可这些手段都有缝隙：相关工作可能已经把解法剧透了大半，充当评委的模型自己也未必清白。
Epoch AI 在这上面花了多少功夫，直接决定了分数该打几折。这一点上，InnovationEval 的公信力不来自题目设计得多巧，而来自它对污染的处理够不够狠。
一份“差点意思”的答卷长什么样
最常见的一种失败，是把前置工作的思路重新排列一遍，看起来四平八稳，实则在原地打转。第二种是抽象到正确的废话：框架搭得很漂亮，落到损失函数和采样流程就含糊其辞。第三种更隐蔽——方法对了一半，某个关键假设用错了地方，数学上自洽，工程上跑不通。最后一种是干脆跳步，直接甩出结论，中间怎么来的不说。
做研究的人一眼看得出这四类的区别。自动评分未必。
人类当年，花了多久
从读文献到做出第一篇能跑的实验，再到把方法打磨到可以投稿，一篇机器学习论文的正常周期是几个月到一年，中间塞满失败的重跑和推倒重来。把这个过程压缩进一次前向推理，本身就苛刻。
但苛刻是有意的。基准想量的不是模型能不能做研究，而是它在没有试错预算的前提下，离正确答案还差多远。
自动化的瓶颈，从来不在写代码那一段
能改代码，和能做研究，是两回事
过去两年，写代码这一环被模型啃得差不多了。跑实验、修报错、调超参、批量提交任务，这些活儿交给智能体已经相当可靠。真正没有解决的是上游：什么问题值得做、哪个方向有戏、这条思路和三年前那篇被你忘掉的论文有什么本质区别。
InnovationEval 恰好卡在这个位置。它测的是从问题到方法的那一跳，而这一跳，目前还没有别的基准能测。
基准的野心，和它测不到的地方
给定问题求出解，是研究里相对确定的一半。剩下那一半——自己发现问题、自己判断值不值得做——眼下还没有像样的评测方法。所以把 InnovationEval 的分数直接读成“AI 还有多久能自动化研发”，两头都容易出错：它可能高估模型，因为题目边界清晰、目标明确；也可能低估模型，因为真实研究允许反复试错，而基准只给一次机会。
更麻烦的是评分尺度。同一份答卷，换一个评审模型，结论可能就差出一个档位。
接下来值得盯的三个信号
第一，同一批题目上的分数随时间怎么走，是稳住了还是继续爬。第二，模型给出的方法跟原论文差在哪里，有没有哪个版本在某个维度上更漂亮——那说明它不只是复现，而是在改。第三，把 AI 的答卷和人类的答卷混在一起交给专家盲评，看能不能被挑出来。
第三条最有意思。如果挑不出来，那不见得是模型太强，也可能是评审这一环本来就松。
