每日AI快讯 | 智谱AI揭秘大模型“降智”真相：Scaling过程中的退化之痛

在今日的内部技术开放日上，国产头部厂商智谱AI（Zhipu AI）首次系统性地披露了关于大模型在演进过程中的“降智（Regression）”研究报告。这一现象曾引起行业广泛讨论，即模型在整体能力增强的同时，某些特定的小众逻辑或创意能力反而出现衰减。

智谱AI首席科学家指出，随着训练数据的多样性和规模达到临界点，模型在追求通用性（Generalization）的过程中，不可避免地会产生“灾难性遗忘”的变种。研究发现，当模型为了迎合人类偏好训练（RLHF）时，其原始逻辑的尖锐度会被平滑处理，导致在某些硬核科学任务中表现平平。针对这一痛点，智谱宣布已研发出一种“动态权重冻结”技术，试图在保持模型通用性的同时，保留其在细分领域的深度专家能力。这一研究为行业解决“模型退化”提供了宝贵的避坑指南。