训练一次大模型要烧多少钱，行业里早有共识。真正让实验室睡不着的是另一笔账：架构一换，这笔钱得再烧一遍。AWS 团队那篇《Priming: Hybrid state space models from pre-trained Transformers》想拆掉的就是这堵墙——通过 priming 流程，把已经训好的 Transformer 权重搬进混合状态空间模型，预训练开销砍掉超过 99%，全流程只消耗源模型不到 0.5% 的 token 预算。
这个数字很扎眼。更值得琢磨的是它背后的潜台词：架构不再是一次浇筑完就动不了的水泥。
换架构，为什么一直等同于推倒重来
权重是资产，架构是枷锁
一个几十亿参数起步的模型，预训练要跑掉几个月、上万张卡、几千万美元。这笔投入换来的东西说出来有点残酷：一堆和特定架构绑死的权重。注意力头数、层的排布、隐藏维度、残差路径，所有超参在训练结束时已经和权重长在了一起。
想引入状态空间层？可以。但那些 SSM 参数是随机的，旁边的注意力层是训好的，两者塞进同一个网络，前向传播立刻崩。所以过去这些年，换架构的默认答案只有一个：从头训。
打动所有人的那条线性曲线
为什么非要换成 SSM 不可？因为注意力在长序列上的账越算越难看。序列长度翻倍，注意力计算量涨四倍，KV 缓存的显存占用跟着往上爬。上下文开到几十万 token，光缓存就能把推理服务器撑爆。
状态空间模型的麻烦恰恰相反：它把历史压进一个固定大小的状态里，每生成一个 token 的计算量基本恒定。代价是精确记忆能力偏弱，需要回头翻原文细节的任务容易翻车。
混合架构的想法由此而来。大多数层用 SSM 便宜地推进，少数几层保留注意力专门做检索和精确对齐。Jamba、Zamba、Samba 这些名字背后都是这套思路，共同点是：从头训，或者拿更大的模型蒸出来。
蒸馏也没便宜到哪去
让大模型当老师、学生模型去模仿，听起来省事。可蒸馏本身要跑海量 token，学生模型的每一层结构还得单独调参。更尴尬的是，师生架构只要不一样，中间那层"对齐"就成了整个流程最贵的部分。省下来的钱，远没有想象中多。
Priming 到底"激"了什么
先对齐，后激发
关键区别在这里：不是蒸馏，是移植。做法是把预训练 Transformer 里已有的权重，按数学上等价或近似等价的方式，映射到混合架构对应的位置上。原来注意力层负责的输入输出变换，找一个 SSM 层能表达的近似形式塞进去；残差流、归一化、前馈网络这些结构直接沿用。
这一步做完，新模型初始化时的前向行为就离老模型不远了。它还是"笨"的——SSM 层没学会怎么和注意力层分工——但至少不会一开口就是乱码。
那 0.5% 的 token 花在了哪里
接下来的 priming 阶段才是真正动参数的地方。用一小撮数据——相对源模型预训练语料而言——让混进来的新层适应残差流，学会什么时候该记住、什么时候该忘掉。论文给出的总量是不到源模型 0.5% 的 token 预算，也就是原本要跑一整轮预训练的语料，现在一个零头就够。
之后该怎么走还怎么走：SFT、RLHF、领域微调，一步不少，只是起点从随机初始化换成了"接近可用"。
0.5% 这个数字，先别急着引用
省掉的是预训练阶段，不是全部成本。数据清洗、评测、后训练、推理侧的工程优化，一样都跑不掉。而且 99% 是个相对值，源模型越大，绝对节省才越可观。
更该追问的是验证规模。论文覆盖到多大的参数量、多少种混合比例？如果只在几亿参数的量级上跑通，搬到千亿级是否还成立，现在没人能打包票。
真正的价值，藏在省钱之外
架构迭代终于不用重开一局
基础模型团队的决策成本，很大一部分来自"改错了要重训"。这个约束一旦松掉，团队就敢做以前不敢做的实验：每三层插一个注意力层试试，混合比例从 1:7 调成 1:15 跑一轮 priming 看看，不行再换。
探索半径变大，找到甜点的概率才会变大。
推理账单才是长期战场
训练是一次性支出，推理是每天流血。长文档摘要、代码库理解、agent 的多轮工具调用，这些场景的序列长度只会继续涨。显存和延迟的边际成本压在那里，线性复杂度架构的吸引力就不是学术趣味，而是财报问题。
也正因如此，priming 这类方法的真正受众，未必是做前沿大模型的少数团队，而是那些手里攒着几百块 GPU、想把推理成本硬压下来的工程团队。
混合架构留下的几个问号
哪些层该换成 SSM，哪些必须保留注意力？这个选择目前多半靠经验和搜索，缺少理论指导。权重映射的近似误差会不会在训练后期被放大？模型继承的不只是能力，可能还有源模型的偏见和对齐瑕疵，这一点同样需要更细的探针实验来确认。
还有一个容易被忽略的：评测公平性。用 0.5% 的 token 换来的模型，和一个从头训满预算的模型比，差的那部分能力究竟落在哪些任务上？平均值好看，说明不了什么。
给工程团队的两句实在话
先算总账，再谈迁移
迁移从来不是免费动作。权重映射要写代码，混合比例要调，priming 阶段要跑，迁移完还得重新做评测和对齐。把这些投入和"省下的预训练成本加长期的推理收益"放进同一张表里算，很多情况下答案未必是迁移。
架构灵活性本身，正在变成竞争力
当换架构的门槛从"重训一遍"降到"重激一轮"，模型迭代的游戏规则就变了。谁能更快试错、更快收敛到性价比甜点，谁就少花冤枉钱。这个能力短期内不会写进任何排行榜，但它会体现在每一张 GPU 账单上。
权重和架构可以解绑，这件事的分量，可能比论文里那个 99% 更重。
