杨植麟在GTC 2026的演讲台上干了一件很多AI研究员私下想过但没人敢做的事——把深度学习的三件套全换了。Adam优化器，被MuonClip替换。全注意力机制，让位给Kimi Linear线性注意力。残差连接，也动了刀。这位月之暗面的CEO不是来做技术微调的。他是来掀桌子的。而且掀完之后，把所有东西都开源了。
Adam坐了十年王座，终于有人动手了
数据效率翻倍，这不是调参
先看最狠的那个数字：数据利用效率提升近一倍。这不是什么百分之一两个点的改进，是直接把训练效率的基线翻了一倍。用MuonClip训练模型，达到同样的性能，数据量砍半；或者用同样的数据，效果接近翻番。做模型训练的人都清楚这意味着什么——在算力成本居高不下的当下，这等于是把训练账单拦腰斩断。杨植麟在演讲中没有把它包装成一次温和的"改进"，措辞很直接：替代Adam。不是优化Adam，不是给Adam加个插件，是换掉它。
为什么优化器成了最后一个被撼动的组件
这件事的奇怪之处在于：深度学习社区对架构、对数据配比、对损失函数都动过无数次刀，唯独优化器这块地几乎没人敢碰。Adam自2014年提出以来，已经成了默认选项，像空气一样无处不在却又被视而不见。后来的AdamW、LAMB、LION都只能算是在Adam框架内的小修小补。原因不难理解：优化器是训练的底层水管系统，一旦出问题，整个训练流程都会崩塌。大多数团队没有精力去验证一个全新优化器在大规模训练中的稳定性。月之暗面这次不仅做了验证，还把MuonClip跑通了实际的大模型训练管线，拿到了翻倍级别的数据效率提升。这比发一篇优化器论文的分量重得多——这是在真实生产环境里完成的替代。
开源这步棋
演讲中另一个容易被忽略但至关重要的信息是：全部开源。把Adam换掉是一回事，把替换方案锁在自己公司内部是另一回事。月之暗面选择了前者。对于整个AI社区来说，这意味着MuonClip可以迅速被复现、检验、改进。开源决定了这件事的影响力半径——它不是一次闭门造车的内部优化，而是向整个行业抛出了一个公开的技术提案：Adam的替代品已经有了，你们要不要试试？在GTC这种场合公开宣布并同步开源，姿态很清楚：这不是一个需要藏着掖着的商业壁垒，而是一个值得让整个行业共同推进的技术方向。
线性注意力：不是优化，是彻底重来
全注意力的问题，整个行业都心知肚明
全注意力机制的复杂度随序列长度呈二次方增长，这是Transformer架构与生俱来的阿克琉斯之踵。处理几千个Token还好，到了几万、几十万Token级别，计算量和显存开销会膨胀到不可接受。行业里的应对策略五花八门：滑动窗口、稀疏注意力、分块处理、状态压缩……但本质上都是在全注意力的框架内做减法——砍掉一部分计算来换取效率，然后祈祷性能不掉太多。Kimi Linear走了一条完全不同的路。它不是在"优化"全注意力，而是用线性注意力机制彻底替换了整个注意力计算范式，把复杂度从二次方直接压到了线性。
百万Token跑起来，Demo和生产的距离
降低复杂度是一回事，保证性能不降甚至反超是另一回事。很多线性注意力的方案在学术论文里表现不错，一到长上下文实战就露馅——要么在短序列上不如全注意力，要么长序列上出现奇怪的退化。杨植麟在演讲中给出的数据很硬：百万Token上下文下全面超越全注意力。注意这个表述，"全面超越"，不是"接近"、不是"媲美"、不是"在某些指标上持平"。这意味着Kimi Linear不是在牺牲性能换效率，而是在效率碾压的同时还拿到了更好的效果。百万Token这个量级也不是Demo摆设——它是真实业务场景中长文档处理、代码库理解、多轮对话记忆等需求的实际阈值。能把线性注意力从论文指标推到百万Token生产级别的效果，这一步跨越比大多数人想象的要难得多。
300个Agent、残差连接，以及这个行业的分岔路
Agent Swarm不是什么新鲜概念，但300个是
多Agent协作的概念在AI圈子里飘了好几年，各类框架和论文层出不穷。但绝大多数所谓的"多Agent系统"其实只是两三个Agent之间的简单调用链，一旦数量上到两位数，调度、通信、状态同步就会迅速变成一锅粥。月之暗面在GTC上展示的Agent Swarm跑通了300个Agent并行工作——这个量级的意义不在于数字本身，而在于它证明了一件事：大规模Agent协作的工程瓶颈是可以被打通的。300个Agent同时在跑，意味着任务拆解粒度、中间结果传递、冲突消解、资源调度这些环节都必须有成熟的工程方案，缺一环整个系统就会在某个不起眼的地方卡死。
第三件被换掉的东西
MuonClip换了Adam，Kimi Linear换了全注意力。第三件被杨植麟在演讲中点名替换的基础组件是残差连接。残差连接自ResNet时代以来就是深层网络训练的标配——它解决了梯度消失问题，让几百层甚至上千层的网络能够稳定训练。但"标配"往往意味着很少有人再去追问它是不是最优解。月之暗面这次对残差连接也做了替代性设计，虽然没有像前两者那样给出具体的效率翻倍数据，但这个举动本身传递的信号很清楚：没有什么组件是神圣不可触碰的。当一家公司同时对优化器、注意力机制和残差连接三个底层支柱动手的时候，这已经不是"改进"，而是在尝试定义一套新的训练范式。
训练范式走到分岔路口了
把三件事放在一起看，才能理解杨植麟这次GTC演讲的真正分量。单独换一个优化器，是工程优化。单独搞一个线性注意力，是架构探索。单独改进Agent系统，是产品能力。但三件事同时发生、打包开源，指向的是一个更根本的问题：深度学习过去十年建立起来的那套训练范式——Adam优化、全注意力、残差连接——是不是已经到了该被整替换代的时候了？月之暗面给出的答案是肯定的，而且他们直接拿出了可运行的替代方案。这不是一篇论文里的畅想，这是在真实的大模型训练管线里跑过的技术栈。对于还在用三件套搭模型的团队来说，GTC 2026的这场演讲可能不是一次舒适的观看体验。但它一定是今年最值得反复研究的一次技术亮相。
