很多人还在把美团当外卖公司的时候,它的技术团队扔出了一记闷雷:一个总参数1.6T的大模型LongCat-2.0,直接开源。不是PPT模型,不是压箱底的半成品,而是已经在五万卡国产算力集群上把推理跑通了、连代码带芯片适配细节全部公开的硬通货。
这事放在半年前不可想象。万亿参数模型过去是巨头的专属玩具,推理成本高到让人倒吸凉气,更别说在国产芯片上折腾。LongCat-2.0偏偏选择了一条最不讨巧的路:专为Agentic Coding这种真实、耗时、需要长上下文推理的任务设计,平均激活参数只有48B,却能把百万级token的上下文吃得死死的。美团没有讲宏大故事,它交的是一份给一线工程师的“作业本”。
大只是表象,巧才是内核
稀疏注意力不是新瓶装旧酒,LongCat做对了什么?
万亿参数模型最容易掉进的坑是“胖而无力”。参数铺得再大,推理时依然要像翻字典一样逐页查阅整个注意力矩阵,显存先崩,时延紧跟着失控。LongCat-2.0的核心武器是LongCat稀疏注意力机制。它没有重复业界常见的滑动窗口或者分块稀疏的老路,而是根据Agentic Coding任务里代码结构高度层级化、逻辑跳转有规律的特点,重新设计了稀疏模式。说直白点,写代码的时候函数调用、变量引用天然就有稀疏性——定义类的地方和实际调用的地方相隔可能很远,但中间大段代码根本不相关。LongCat的注意力机制学会只关注那些真正产生语义关联的token,把无关上下文果断剪枝。带来的直接收益是,百万token长序列的推理计算量断崖式下降,显存占用曲线也不再是陡峭的斜线。
N-gram Embedding,把token看穿一层皮
另一个不容易被外行注意的细节是N-gram Embedding。常规的token embedding把每个词或子词当成孤岛,但代码本质上是一串有固定搭配习惯的符号流。def后面高概率跟着函数名,import后面几乎必定是模块名,这类n-gram级别的共现模式,单个token的向量无法刻画。LongCat-2.0在输入端就把相邻的几个token组合起来做一次轻量级嵌入,再与主模型交互。效果很直接:模型对代码骨架的感知不再停留在词汇层面,而是有了“短语级”的语感。这种设计没有显著增加参数量,却让模型在代码补全、重构长函数这类任务上少犯低级拼写错误,更像一个编程老手。
在五万卡国产芯片上把推理跑通,是工程上的硬仗
从芯片适配到部署策略,没有一步是现成的
真正让行业坐直身子的,是LongCat-2.0那句“业界首个在五万卡国产算力集群上完成推理的万亿参数模型”。国产芯片的生态远不如CUDA成熟,算子库缺胳膊少腿,通信库对大张量并行的支撑一团糟。美团的选择是,从模型架构设计阶段就和国产芯片适配搅在一起。稀疏注意力算子的形状,直接对应华为昇腾等芯片的计算单元排列;通信切分策略针对国产互联带宽反复调优,不搬英伟达那一套“万能模版”。最终在一个五万卡规模的真实集群上,LongCat-2.0跑通了完整推理链路,不是模拟器里的实验室数据。这等于给所有想在国产算力上落大模型的人发了一份“坑位地图”。
FP8、INT8不是摆设,让万亿模型能落得了地
开源仓库里同时放了BF16、FP8、INT8三种精度版本,并且提供针对国产算力极致优化的推理代码。很多人不明白这有多要紧。万亿参数模型的BF16权重文件动辄几百GB,部署时别说推理,加载一次就能劝退大半团队。FP8和INT8量化把模型体积和内存带宽需求大幅打下来,同时要在精度损失和吞吐量之间找到工业可用的平衡点。LongCat-2.0的量化方案不是简单的后训练量化,而是训练时就已经考虑量化噪声的分布,配合国产芯片上专门编写的低精度矩阵乘核,让INT8推理的代码生成质量几乎无感衰减。这才是真正的“生产可用”,不是论文里的demo。
开源的不是模型,是国产大模型落地的完整图纸
代码、芯片适配细节全公开,跟过去的路数不一样
过去国产大模型开源大多走“放个权重+几行示例”的路线,底层的分布式策略、芯片适配方案讳莫如深。开发者下载下来,发现自己的集群上根本跑不动,或者效率低到只能看看。LongCat-2.0的做法不同——直接给出多精度版本的同时,把五万卡推理的部署策略、算子实现、通信优化一并亮出来。换句话说,这不是摆着好看的概念车,而是一辆拆了外壳露出全部机械骨架的工程样车。做国产芯片推理加速的团队,可以直接进入模型结构对应的算子和通信模式进行调整;搞Agentic Coding产品的公司,可以在自己的业务数据上快速微调;学术研究者也有了一个真实万亿规模、完整工程链路的研究对象。
Agentic Coding的战场,不拼参数拼真实干活能力
LongCat-2.0没有去刷那些通用对话榜单,而是直接挑了最脏最累的活——真实Agentic Coding任务。这类场景里,模型不是答一道题就完事,而是要持续理解整个代码仓库、跨文件联动修改、维护长程依赖关系,随时根据新报错调整后续计划。平均48B的激活参数听起来不大,但它意味着每一次前向计算,只有真正参与当前思考的极少部分参数被唤醒,其他万亿参数像沉睡的后备知识库一样待命。这种设计让处理长上下文代码任务的时延和显存开销保持可控,而那些动辄激活全部参数的巨型模型,往往一个长请求就开始喘粗气。美团拿出的不是参数量的面子,是工程可控性的里子。
说回来,LongCat-2.0真正让人兴奋的地方在于:它在国产算力与大模型落地之间搭起了一座可以步行的桥。模型架构、芯片适配、精度工程、任务定义,每一步都踩在真实的生产泥地里。过去我们说国产大模型开源,常常是“嗯,知道了,但没法用”。这次至少可以多一句——“如果我的卡也够多,说不定真能跑起来。”

