做长上下文的人大概都有过这种体验：模型刚出来时，NIAH（大海捞针）测试动辄八九十，CoT微调一上，推理能力看着涨了，再去测召回，数字直接掉到个位数。怪参数没调好？怪数据不够？都不是。最新一篇论文把这个锅精准地扣在了注意力路由上——更准确地说，是扣在了W_Q和W_K投影上。而且解法也出乎意料：不用重训，从微调前的检查点把Q和K矩阵挑回来就行。
CoT微调为什么"伤"长程记忆
论文的切入点选得很毒——他们盯上的不是普通的Transformer，而是混合线性注意力架构，也就是HypeNet、Jet-Nemotron这一类把线性注意力层和少量Softmax注意力层混搭的设计。这类模型在长上下文场景下能省FLOPs，关键能力来自于"少而精"的Softmax层负责长程路由，线性层负责短程高效计算。
梯度跑去哪了
CoT-SFT的监督信号天然是短程的。答案往往只引用最近几步的上下文，损失函数对远距离token的Q、K向量几乎没有梯度压力。训练一开，模型很快发现：把注意力权重往局部堆，推理准确率照样蹭蹭涨。结果就是W_Q和W_K的长程分量被一点点"压扁"，Softmax层的路由能力名存实亡。
数据不会说谎的数字
HypeNet-9B原本在NIAH S2@256K上能拿到67.2%，经过CoT微调，骤降至9.4%。这不是小幅波动，是断崖式坍塌。论文在Jet-Nemotron上也复现了类似现象，说明这不是某一个模型的bug，而是这类架构面对CoT训练时的共性病灶。
QK-Restore：零训练的"外科手术"
发现问题之后，作者没有选择常规路径——重新设计损失函数、或者加正则项。他们做了一个更激进的判断：既然长程路由的"知识"已经被微调损坏了，那就把Q和K矩阵从微调前恢复回来，模型其他部分（FFN、输出投影、线性注意力层）照样吃下CoT的增益。
硬恢复版：粗暴但有效
最基础的QK-Restore操作极其简单——加载微调前checkpoint的W_Q和W_K，替换当前模型对应权重，其余参数保持CoT微调后的状态。HypeNet-5B在NIAH S3@256K上，召回从65.4%直接弹到76.4%，比微调前还高一个台阶。更妙的是，推理任务的指标没有任何回退，说明Q、K的"远古参数"和CoT后学到的能力确实可以解耦。
Procrustes变体：软着陆的折中
直接硬替换有个潜在风险：路由方向和推理分布之间可能存在轻微不匹配。论文于是引入了Procrustes对齐的变体——先对微调前后的Q、K矩阵做正交对齐，再按比例插值，平衡"保留长程路由"和"适配推理分布"两个目标。实验中这个变体在部分高难度基准上比硬恢复再稳一档。
这件事真正值得讨论的是什么
论文的核心数据其实只占了三页，剩下的篇幅都在做消融和解释。但对一个做长上下文模型的人来说，它的杀伤力远不止"又一篇trick paper"那么简单——它撕开了一个被很多人忽视的口子。
微调范式的隐含假设
过去几年，大家默认CoT微调是"无损增强"：在冻结主结构的前提下，教会模型一步步想问题。但这篇工作明确告诉业界，微调并不是无损的，它会沿着梯度下降的方向重塑所有可学习参数的语义——包括那些你根本没打算改动的"基础设施"层。当模型是纯Transformer时，这种重塑的危害被多头注意力均摊掉了；换成混合线性架构，伤害就集中在少数几个Softmax头上，爆发成召回崩塌。
架构选择与训练流程的耦合
另一个更深的信号是：模型架构本身会反向约束训练方法。Jet-Nemotron和HypeNet的设计哲学是"用稀疏Softmax换长程能力，用线性层换效率"，但这种分工极脆——一旦训练信号和架构分工错位，能力立刻失效。这意味着，任何主打线性注意力的团队，都得在训练数据、损失函数、检查点管理上额外下功夫，否则一上SFT就翻车。
零成本修复背后的工程启示
QK-Restore的成本几乎为零：存一份微调前checkpoint，多写几十行加载逻辑。这种"打补丁"式的方案在工业界并不罕见，但它揭示了一个工程原则——关键投影层应该有版本管理。Q、K、O这类决定注意力几何结构的矩阵，本质上就是模型的"基础设施"，在版本化训练里应当被显式追踪和回滚，而不是随主训练流一起漂移。
说到底，这篇论文给做长上下文推理的团队提了一个醒：CoT微调不是开箱即用的加速器，它和混合线性架构之间存在结构性冲突。QK-Restore给出的是一条廉价逃生通道，更大的问题——怎么从训练范式层面避免这类破坏——仍然悬在半空。
