九个人打分，听起来比一个人打分靠谱得多。但如果这九个人的判断高度趋同呢？苹果机器学习团队最近扔出一篇论文，结论相当扎心：你精心搭建的LLM-as-a-judge评估面板，实际信息量可能只有两位独立评委的水平。换句话说，大多数时候，一个最强模型单挑就够用了。凑齐一桌子评委，不是为了更准，只是为了显得更严谨。
九个评委，为何只顶两个
先说实验本身怎么设计的。研究团队从七个不同模型家族中挑出九个前沿大语言模型，包括OpenAI、Anthropic、Google等主流玩家，让它们在三个自然语言推理数据集上互评。这些任务覆盖了NLI经典基准，目的是观察不同评委对同一批模型输出的判断有多一致。
相关性才是真正的元凶
传统假设是：评委越多、意见越分散，聚合结果就越接近真相。但实验结果把这套逻辑按在地上摩擦。九个模型在判断上的相关系数高得离谱，它们犯的错误几乎踩在同一个位置上。要么集体看好同一个答案，要么集体跑偏，而且跑偏的方向高度重合。这种结构让投票机制失去了纠错能力——多数派本身就是错的源头，少数派没有翻盘的空间。
信息量的精确测算
研究用了有效投票数（effective number of votes）这个指标来量化面板的真实信息含量。结果让人沉默：九个评委加起来，有效投票数大约只有2个。换句话说，剩下七个都是"复读机"，在复述前两个评委的判断。面板准确率因此比理想独立投票场景低8到22个百分点，这差距足以让任何排行榜失去意义。
加评委、换算法，统统不灵
发现问题后，研究团队试了几种常规补救手段，想看看能不能把面板救回来。结果每一条路都被堵死了。
数量不是解药
最直觉的反应是：九个评委太少了，加到二十个、三十个总会好吧？实验否定了这条路。增加评委数量带来的边际收益迅速衰减，因为新加入的模型和原有的模型共享同一套预训练范式、同一批人类反馈数据，它们的偏见就像同一家族出来的孩子，相似是本能。相关性不会因为人多就自动降低，反而可能因为大家都在追同一个SOTA而越靠越近。
聚合算法也救不了场
那就换个更聪明的投票机制？研究测试了多种聚合策略，包括加权投票、置信度融合等。更绝的是，他们甚至给算法开了"后门"，让它能看到正确答案后再做决策。即便在这种上帝视角加持下，聚合结果和真实表现之间的差距最多只能缩小11个百分点。瓶颈不在聚合层，而在评委本身——它们看到的"世界"太像了。
那评估到底该怎么做
这组发现对整个LLM评测领域都是一记重锤。过去两年，行业默认的玩法是搞一个"专家委员会"，让多个模型互相打分，然后取平均或加权。苹果的结论证明这套流程的底层假设可能就不成立。
单模型的天花板被低估了
实验中表现最好的那个单一模型，单独作战的成绩已经和整个面板持平，甚至略有胜出。这颠覆了"集体智慧一定优于个体"的常识。在LLM评测这个特定场景里，挑选一个判断力最强、最稳定的模型作为主评委，可能比堆砌一桌子"看起来很专业"的评委更高效。核心指标不是面板有多大，而是主评委自己有多准。
提示工程和温度调节都没用
研究还测试了提示变体和温度参数对相关性的影响。换不同的prompt模板、把采样温度从0调到1，评委之间的判断相关性纹丝不动。这意味着相关性深深植根于模型的训练数据和架构之中，属于底层特性，不是表面调参能解决的问题。想通过"让模型再想想"来打破同质化，目前看来是徒劳。
打破同质化，下一步在哪
问题摆清楚了，但解法还在迷雾里。这篇论文最实际的价值，可能在于倒逼整个领域重新审视评估方法论。
偏好任务里同样翻车
不光是自然语言推理，在更主观的偏好对比任务中，评委面板同样表现出高度一致性。人类觉得"这道菜好不好吃"各有各的口味，但LLM评委面对两个候选答案时，选择倾向惊人地一致。这进一步说明，LLM评估面板的局限是系统性的，不是某个数据集或任务的特殊现象。任何依赖多模型投票的评估流程，都该重新审视自己的可靠性。
未来评估需要"异质性"
要真正提升面板的信息量，关键不在数量，而在多样性。需要的是判断逻辑、训练数据、架构设计都截然不同的模型——不是同一棵树上多摘几片叶子，而是去不同的树上找果子。这对模型开发者和评估平台都提出了新要求：与其追捧跑分最高的几个模型，不如刻意引入"偏科生"，让评委席上出现真正的意见冲突。当然，这也会带来新的管理复杂度——冲突的评委意见该如何仲裁，本身又是一个新问题。
回头看，这篇论文撕开的口子比它填补的要多得多。它没有给出一套即插即用的替代方案，而是让整个LLM评测社区不得不承认：我们以为在用集体智慧做评估，实际上可能只是在用九面镜子照同一个影子。在这个认知基础上重建评估体系，会是接下来相当长一段时间的硬仗。
