大模型不是不知道,而是想不起来。Google Research 最新的知识画像研究给出一组反直觉结论:前沿 LLM 的事实编码能力已经接近饱和,真正卡住回答准确率的是回忆环节。换句话说,多数事实错误不是知识没存进去,而是参数化知识调用不出来——空货架的情况少,丢钥匙的情况多。这项研究提出的框架把事实错误拆成编码失败、回忆失败等五类画像,并配套发布 WikiProfile 基准,用 2,150 条维基百科事实和 21,500 个问题分别探测编码、回忆与识别。它逼着行业重新审视一个老问题:我们到底是在补知识,还是在修检索。
事实错误被误诊太久了
答错就补数据,可能是最懒的解法
过去两年,行业对 LLM 事实性问题的处理方式相当粗糙。模型答错一条历史事件或科学定理,团队的第一反应往往是增加训练语料、扩大参数规模、再刷一版模型。这种惯性背后预设了一个简单模型:答案错了,说明知识没进参数。但 Google Research 用知识画像框架打破了这个预设。他们发现,在 Gemini3、GPT-5 这类前沿模型上,大量事实其实已经被编码进参数,只是无法在需要时稳定地回忆出来。错不在库存,而在取货通道。这个区分听上去细微,对优化方向的冲击却很大——如果问题主要出在回忆,继续堆数据只能带来边际收益,甚至把已经拥挤的表示空间搅得更乱。
“空货架”和“丢钥匙”根本是两码事
知识画像框架用一个很直观的比喻区分两类失败。空货架,意味着模型内部根本没有这条事实的表示,属于编码失败;丢钥匙,则是事实确实存在,但模型无法在特定提问下把它提取出来,属于回忆失败。二者在外显行为上几乎一样——都表现为答错或拒答——但内里机制完全不同。前沿模型的编码率已经高得惊人,回忆却明显落后。这个结论与很多人的感受一致:你问大模型一个冷门问题,它有时会在你换个问法后突然答对。这不是它刚学会,而是钥匙终于找到了。此前行业把这类现象当成提示工程问题,现在看,它首先是一个参数化事实性的结构问题。
为什么回忆瓶颈长期被低估
原因很现实:编码和回忆在模型训练过程中高度耦合。自回归训练目标要求模型同时完成事实存储与下一 token 预测,人们很难分清某个错误究竟是没学会还是没想起来。而且,大多数评估基准只记录最终答案对错,不追踪失败发生在哪一步。于是,编码失败和回忆失败被混在一起,统一归为“知识不够”。Google Research 这次把两者拆开,相当于给模型事实能力做了一次分层诊断。在这个诊断下,许多被归为知识缺失的错误,其实只是提取路径不稳定。对研究社区来说,问题性质一变,解决工具也应该跟着换。
五类画像把模型脑子切开看
从“知不知道”到“想不想得起来”的分层
知识画像框架的核心贡献,是把一个模糊的事实状态拆成可测量的维度。它不止区分编码失败与回忆失败,还引入识别能力作为第三条轴。识别指的是模型在多项选择或验证场景中能否辨认正确事实,即便它无法主动生成。这样一来,一个事实在模型内部至少可以落入五类画像:编码成功且回忆成功、编码成功但回忆失败、编码成功但识别失败、编码失败但识别成功、编码失败且识别失败。最后两类看似矛盾,其实对应不同的部分知识残留。这种分层把“模型是否掌握事实”从二元判断变成多状态剖面,准确度一下子提高了一个数量级。
WikiProfile 基准怎么把“丢钥匙”测出来
配套发布的 WikiProfile 基准规模不大,但设计有针对性。它从维基百科抽取 2,150 条事实,每条事实配 10 个问题,总共 21,500 个探测项。这些问题不是随便生成的选择题,而是围绕同一条事实设计不同认知负荷的提示,用于分别触发编码、回忆与识别。通过比较三个维度的得分,研究者能判断一个错误是出在存储端还是提取端。更重要的是,这种设计避免了以往基准只能测最终答案正确率的盲区。一个模型可能在自由生成时答不出来,却在识别任务中轻松选对,这正说明事实已经编码,回忆通道受阻。基准的探测粒度,直接决定了研究结论的可信度。
编码饱和,回忆掉队,前沿模型的尴尬
在 WikiProfile 上的结果显示,前沿 LLM 的事实编码能力已经接近饱和。换句话说,只要一条维基百科级事实在训练分布中有足够暴露,模型大概率已经把它的表示写进了参数。但回忆能力没跟上。模型能识别、能验证,却在开放生成时频繁卡壳或给出错误答案。这种割裂在长尾事实上尤其明显。Google Research 的结论是:多数事实错误源于“丢钥匙”,而非“空货架”。这个说法如果成立,意味着当前的参数化事实性瓶颈不在训练前期的知识吸收,而在推理和生成阶段的提取稳定性。模型不缺知识,缺的是在正确时刻把知识调出来的能力。
如果瓶颈在回忆,优化逻辑要变
思考时间应该花在找回已编码事实
这项研究对推理模型的启示很直接。既然大量事实已经躺在参数里,增加推理计算的目标之一就应该是帮助模型稳定地找回它们,而不是从零推导。但现实中的思考链往往在做另一件事:模型沿着错误的路径越走越远,最后给出一个看似合理实则与已存事实冲突的答案。Google Research 的框架提醒我们,推理时间的真正价值可能在于给回忆创造更多机会。比如,模型可以先生成候选事实,再对照自身知识进行验证,或者用多次采样投票来稳定提取路径。只要回忆成功率提高,很多事实错误会自然消失,根本不用再喂新数据。
堆数据不再是万能药
过去为了提升事实性,行业倾向于扩大训练语料、加入更多事实来源。这套逻辑在编码饱和的前提下开始失效。编码接近上限后,再加语料只是把已经知道的东西换一种说法再存一遍,对准确率的提升非常有限。更麻烦的是,冗余知识可能干扰提取。模型内部的事实表示如果过多、过密,回忆时反而更容易走错路。这并不是说训练数据不重要,而是说优化重点需要从“知识覆盖”转向“知识可提取性”。尤其对于公司级大模型,重新清洗已有知识、设计强化回忆的训练目标,可能比继续烧钱扩数据更划算。
评估基准也要从答案对错转向失败归因
知识画像框架还暴露了现有评估的粗糙。只看最终答案对错的基准,无法区分模型是编码失败、回忆失败,还是识别失败。于是,明明是两个完全不同的缺陷,可能被同一个分数掩盖。未来的事实性评估应该引入分层诊断:给出一个事实,分别测试模型能否自由生成、能否在提示下回忆、能否在多选项中识别。三个数字放在一起,才像一份完整的体检报告。否则,团队可能花半年时间优化编码,结果发现瓶颈根本不在这里。这种误判成本,对前沿实验室来说可能高达数千万美元。
新的能力坐标系,正在长出来
从“会不会答”到“卡在哪一步”
知识画像给出的最大启发,是把事实性拆成一条可诊断的链条。编码、回忆、识别,三个环节环环相扣,任何一个环节断裂都会表现为答错。过去行业笼统地追求“答对率”,相当于只看最终输出,不看中间失败模式。现在有了这套框架,优化可以被精确地导向瓶颈环节。比如,一个模型识别率高但回忆率低,就不该继续做知识注入,而应该改进生成时的提取机制。这种细颗粒度的诊断,才是下一步模型迭代该有的起点。
一个更诚实的模型能力坐标系
对用户来说,这也意味着更诚实的预期。一个模型能在考试中选对答案,不代表它能在开放场景中稳定调出事实。一个模型答错冷门问题,也不代表它完全没学过。知识画像框架把这种微妙差异摆上桌面,避免用“聪明”或“笨”这样粗颗粒的标签评价系统。对企业而言,这意味着部署前可以更精准地了解模型在哪些环节容易出错,从而设计兜底策略。比如,回忆瓶颈严重的场景可以增加检索增强,编码不足的场景则要补充外部知识库。
瓶颈转移之后,下一步是什么
Google Research 的研究把注意力从“模型知道多少”引向“模型能想起来多少”。这可能是今年关于大模型事实性最重要的一次视角切换。它解释了许多令人困惑的失败案例,还提供了可操作的探测工具。接下来,值得关注的是回忆能力如何被单独训练和评估。如果各实验室开始把回忆率作为核心指标,我们可能会看到一批专门强化知识提取稳定性的新方法。到那时,事实错误仍然存在,但至少我们不会再搞错修的地方。

