蚂蚁百灵把 Ling-3.1-flash 的权重直接扔上了 Hugging Face 和 ModelScope。560B 总参数,每 Token 激活约 25B,上下文窗口拉到 1M。三个数字摆在一起,比"又一个国产开源大模型"这句话信息量大得多。
560B 和 25B 之间,藏着什么
稀疏激活不是省钱的花招
先算这笔账。25 除以 560,不到百分之四点五。每次前向传播真正参与计算的,只有这么一部分,剩下的参数安安静静躺在显存里。
很多人把 MoE 理解成"用便宜的价格买大模型的智商",这话只对了一半。稀疏激活真正解决的,是把"模型脑子里装了多少东西"和"回答一次要花多少钱"这两件事拆开。过去它们绑死在一起,参数越大,单次推理越贵。现在可以分开定价了。
代价当然有。路由器得判断哪些专家该上场,判断失误就是白白烧掉的算力;训练阶段的负载均衡、专家坍缩,每一个都是能让人熬夜的坑。放开权重,等于把这些坑一并交出去,让下游用户在自己的数据和场景里再踩一遍。敢这么做,说明团队对自己的路由稳定性有底。
1M 上下文,难的是找得到
1M 这个数字,这两年已经被宣传口径用滥了。塞进去容易,从里面精确取出来难。
把几十万字的技术文档、合同、日志一次丢进去,用户真正关心的是模型能不能在正确的位置停下来,而不是读完全部之后给你一段四平八稳的总结。窗口大小只是入场券,检索精度才决定这套东西到底能不能用在生产环境里。
另一个麻烦在推理侧。上下文越长,KV Cache 吃掉的内存越多,单次请求的首字延迟越难压住。1M 窗口配 25B 激活放在一起看,取舍就清楚了:他们要的是长文档处理能力,不是比谁的数字更唬人。
省下来的是算力,不是显存
这里容易搞混。25B 砍掉的是 FLOPs,不是显存占用。560B 的权重该加载还得加载,该占的卡一张都少不了。单卡跑不动,还是跑不动。
真正的收益在吞吐上。同样的硬件、同样的显存池子,单位时间能服务更多请求,或者把长上下文带来的额外开销抹平一部分。对做推理服务的人来说,这是能直接换算成电费和毛利的东西。
开源不再是大新闻,开源的方式才是
权重上架那一刻,竞争才开始
Hugging Face 加 ModelScope 双平台发布,已经是国内团队的常规操作,本身不构成新闻点。分水岭在别处。
权重一旦公开,模型就不再属于发布者。有人拿去做领域微调,有人量化成 4bit 塞进单机,有人蒸馏出一个小号版本丢到边缘设备上。这些动作没有一个是发布方安排的,但它们决定了这个模型半年后还有没有人在用。闭源模型做不到这一点,它的生命周期被厂商的迭代节奏锁死。
为什么是 flash
后缀是有性格的。Pro 卖能力上限,Flash 卖速度与单次成本。按这套命名惯例推,Ling-3.1-flash 的定位不是家族的顶配,而是那个"跑得够快、价格够低、底子又不寒酸"的角色。
这个位置其实最难站。往上,要顶得住同门大模型的对比;往下,得比同尺寸的稠密模型更划算。560B 的存量配上 25B 的激活,正是冲着这个夹缝去的:知识面按大模型的标准配,推理开销按小模型的标准收。
社区会用脚投票
开源模型的评价体系和榜单不是一套东西。榜单看分数,社区看能不能跑起来、跑起来要几张卡、微调脚本是不是当天就能跑通。一个模型如果发布后两周内没人贴出自己的部署记录,基本就凉了。
这件事上没有第二次机会。首发的量化版本、推理框架适配、显存优化方案,谁先补上,谁就吃下早期的开发者注意力。
蚂蚁下这盘棋,逻辑不在榜单上
场景是最好的测试集
蚂蚁的业务盘子摆在那儿:支付、风控、保险、本地生活。这些场景对模型的需求很具体,长文档理解、多轮合规问答、结构化信息抽取,每一样都能吃到 1M 上下文的红利。
拿真实业务当测试集,比刷公开榜单的收益高得多。榜单分数是给外部看的,业务指标是给自己用的。一个模型在自家场景里能不能把人工审核量压下来,这个数字比任何 benchmark 都硬。
开源是一笔更划算的账
自己训模型、自己开源、让别人去优化部署,这条链路对蚂蚁来说成本结构是划算的。云和算力是它的生意,开源模型是最好的引流工具之一——模型越多人用,推理算力的需求越旺。
更现实的一层是人才和生态。开源项目能吸引到外部贡献者,这些人不会出现在招聘名单上,但会实打实地帮你修 bug、补文档、写适配。
谁该紧张
闭源 API 的定价空间被压薄
每 Token 激活 25B、权重免费下载,这个组合对按量计费的闭源 API 是直接的参照物。客户会算:自己部署一套要多少张卡、多少人力,跟调用 API 比哪个便宜。
当开源模型的能力逼近可用线,闭源 API 的溢价就只能靠三样东西撑住:更稳的 SLA、更省心的运维、以及确实领先一档的能力。三样都拿不出来的时候,价格战是唯一出路。
推理服务商要重新算账
MoE 模型的部署对推理框架要求更高。专家并行、路由通信、显存调度,每一项都在考验服务商的技术底子。谁能把 560B 的模型压进更少的卡、跑出更低的单位成本,谁就能在下一轮比价里活下来。
这轮竞争里,光靠堆卡是没用的。工程优化的边际收益,比买硬件的边际收益高得多。
开发者的选择变多了,烦恼也多了
手里能用的开源权重越来越多,挑哪个反而成了问题。参数规模、上下文长度、许可证条款、社区活跃度、量化后的实际效果,每一项都要花时间验证。
我的建议很朴素:先看你的场景到底吃不吃长上下文。如果日常任务就是几百 Token 的问答和分类,1M 窗口对你毫无意义,跑一个更小的稠密模型可能又快又便宜。别为了用不上的能力付部署成本。

