微软把底牌摊到桌面上了。MAI-Base-2 预训练完成,2.8 万亿总参数、800 亿激活的 MoE 基础模型,在 held-out 评测中 BPB 低于所有被拿来对比的开源权重模型;官方给出的口径里,预训练阶段的 FLOPs 效率是 DeepSeek-V4-Pro-Base 的 4.2 到 12.3 倍。单看任何一个数字都不算炸裂,摞在一起就有意思了——一个长期被外界默认是「OpenAI 最大出资方兼云房东」的公司,开始拿出证据,说明自己有能力把前沿基础模型从零练出来。
稀疏的账本:2.8 万亿里,真正在跑的是 800 亿
总参数是容量,激活参数才是账单
MoE 架构这几年被反复解释,但落到工程上其实就一句话:参数总量决定模型能装下多少知识,激活参数量决定每个 token 要付多少算力。2.8T 对 80B,大约是三十五比一的稀疏比。这个比例摆明了微软不打算走稠密路线——稠密模型每前进一步都要按总参数量线性付费,而稀疏模型把「长得更大」和「跑得更贵」这两件事解耦了。代价也很明确:路由网络要稳、专家之间要均衡、跨卡通信不能成为瓶颈。这几件事任何一件没做好,训练中段就会崩,而且崩得很难看。
BPB 这个指标,比排行榜分数难注水
BPB 是 bits per byte,本质是把交叉熵换算到字节维度上。它比 perplexity 更适合横跨不同 tokenizer 做比较,也不像一堆选择题榜单那样容易被提示词格式、few-shot 数量、答案抽取规则左右。微软强调这是 held-out 评测,意思很直白:数据没进过训练集。公开榜单上刷分的空间大,BPB 这种连续指标的空间小。所以「低于所测全部开源权重模型」这句话的分量,比它看上去要重一些。
稀疏比拉高以后,难题只是换了地方
省下来的算力不会凭空消失。训练侧的成本压下去了,推理侧的内存占用和调度复杂度却要重新算账。2.8T 参数的权重得放在显存里,激活只有 80B 不代表部署只有 80B 的负担。真要上生产环境,量化、专家卸载、批处理策略这些活儿一样都躲不掉。预训练跑完只是把原材料备齐了。
4.2 到 12.3 倍,这个区间比数字本身更值得琢磨
为什么给不出一个准数
效率倍数从来不是一个固定值。它取决于你站在算力-损失曲线的哪个点上比较——模型规模不同、训练 token 量不同、目标损失不同,两条曲线之间的水平距离就会变。区间跨度接近三倍,通常意味着对比是在多个配置或规模档位上做的,每个档位给出的倍数各不相同。这不算遮掩,算诚实;真要拍一个「10 倍」出来,反倒更像营销话术。
把 DeepSeek 当尺子,是挑了最硬的对手
拿谁来对标,本身就是一种表态。DeepSeek 系列在业内被公认的强项恰恰就是训练效率,它的技术报告里关于 FP8 训练、通信优化的篇幅一直很实在。微软不挑别的,专挑这条线做基准,等于承认效率已经成了前沿模型的硬指标之一。反过来说,如果这个倍数站得住,说明微软在数据配比、学习率调度、并行策略这些不显眼的环节上,已经攒到了相当的火候——这些活儿没有捷径,只能一次一次烧卡烧出来。
训练省下来的算力,未必能省在推理上
预训练效率高,直接好处是同等算力能换更多 token、更大规模或者更高训练轮次,模型质量的天花板被抬高了。但这跟用户感受到的「便宜」是两回事。推理成本由架构、量化方案、服务栈效率共同决定,训练端省下的每一分钱,都要在推理端重新挣一遍。把两个成本混为一谈,是这一行最常见的外行误解。
微软自己下场练基础模型,图的是什么
和 OpenAI 的关系,从来不是二选一
外界习惯把自研模型读成「微软要甩开 OpenAI」,这个解读过于戏剧化。更接近现实的版本是:微软需要一个自己完全掌控的基础模型层,用于那些不适合走外部合作的产品线、需要深度定制微调的场景、以及对成本和延迟极度敏感的推理业务。合作和自研并行,在大公司里是常态。真正的问题从来不是「要不要」,而是「练出来的模型够不够用」。
数据管道、算力和评测,三样都得是自己的
基础模型的复利不在模型本身,在周边。清洗后的数据从哪来、训练集群怎么调度、评测集怎么设计才能不被自己人钻空子——这些能力沉淀下来,下一次迭代的成本会明显低于这一次。MAI-Base-2 是这条曲线上的一个点,不是终点。真正值钱的是把第二个、第三个点做得更快更便宜的组织能力。
预训练能力本身就是谈判筹码
能独立练出前沿基础模型的团队,在全球范围内数得过来。这个位置带来的不只是技术自主,还有议价空间——无论是面对上游芯片供应商,还是面对下游的应用方。微软把预训练成绩公开,一半是在向技术圈交付证据,另一半是在向商业世界传递信号。
成绩单之后,真正决定胜负的几件事
开源阵营的追赶速度没有慢下来
「低于所测全部开源权重模型」这句话有保质期。开源社区的迭代节奏以月计算,今天被超过的权重,几个月后就会换一批新的。BPB 领先是当下的快照,不是护城河。真正决定长期位置的,是下一版能不能继续保持领先,以及领先的幅度是在扩大还是收窄。
后训练才是从模型变成产品的关卡
基础模型再强,也只是半成品。指令跟随、工具调用、长上下文里的稳定性、拒答边界——这些全靠后训练和一轮轮对齐打磨。很多在预训练指标上漂亮的模型,一旦进入真实产品场景就露怯。微软手里有 Copilot 这条产品线,意味着它有别人少有的真实反馈回路,这可能是比预训练效率更被低估的资产。
缺一份可复现的说明
到目前为止,我们拿到的是一组对比数字,而不是完整的技术报告。倍数怎么算的、评测集怎么选的、基线模型的配置是否对齐——这些细节不公开,外部的独立验证就无从谈起。在基础模型这个领域,愿意把训练细节写清楚的一方,通常也是对自己的方法更有底气的一方。MAI-Base-2 值得关注,但它现在还是一份摘要,不是一份论文。

