• 当前位置: 首页 >
  • AI商学院
  • > AI前沿技术
  • > Microsoft AI 公布 MAI-Base-2 预训练细节,2.8T 参数 MoE 模型 FLOPs 效率达 DeepSeek-V4-Pro-Base 的 4.2 至 12.3 倍

Microsoft AI 公布 MAI-Base-2 预训练细节,2.8T 参数 MoE 模型 FLOPs 效率达 DeepSeek-V4-Pro-Base 的 4.2 至 12.3 倍

发布时间: 2026-10-16 文章分类: AI前沿技术
阅读量: 0
AI智能体
企业级AI智能体开发与部署
LumeValley提供全栈式企业级AI智能体开发与部署服务,涵盖战略规划、场景化开发、企业级应用构建、行业解决方案及算力支撑。从需求分析到持续优化,确保智能体高效稳定运行,助力企业实现智能化转型,提升运营效率与竞争力。

微软把底牌摊到桌面上了。MAI-Base-2 预训练完成,2.8 万亿总参数、800 亿激活的 MoE 基础模型,在 held-out 评测中 BPB 低于所有被拿来对比的开源权重模型;官方给出的口径里,预训练阶段的 FLOPs 效率是 DeepSeek-V4-Pro-Base 的 4.2 到 12.3 倍。单看任何一个数字都不算炸裂,摞在一起就有意思了——一个长期被外界默认是「OpenAI 最大出资方兼云房东」的公司,开始拿出证据,说明自己有能力把前沿基础模型从零练出来。

稀疏的账本:2.8 万亿里,真正在跑的是 800 亿

总参数是容量,激活参数才是账单

MoE 架构这几年被反复解释,但落到工程上其实就一句话:参数总量决定模型能装下多少知识,激活参数量决定每个 token 要付多少算力。2.8T 对 80B,大约是三十五比一的稀疏比。这个比例摆明了微软不打算走稠密路线——稠密模型每前进一步都要按总参数量线性付费,而稀疏模型把「长得更大」和「跑得更贵」这两件事解耦了。代价也很明确:路由网络要稳、专家之间要均衡、跨卡通信不能成为瓶颈。这几件事任何一件没做好,训练中段就会崩,而且崩得很难看。

BPB 这个指标,比排行榜分数难注水

BPB 是 bits per byte,本质是把交叉熵换算到字节维度上。它比 perplexity 更适合横跨不同 tokenizer 做比较,也不像一堆选择题榜单那样容易被提示词格式、few-shot 数量、答案抽取规则左右。微软强调这是 held-out 评测,意思很直白:数据没进过训练集。公开榜单上刷分的空间大,BPB 这种连续指标的空间小。所以「低于所测全部开源权重模型」这句话的分量,比它看上去要重一些。

稀疏比拉高以后,难题只是换了地方

省下来的算力不会凭空消失。训练侧的成本压下去了,推理侧的内存占用和调度复杂度却要重新算账。2.8T 参数的权重得放在显存里,激活只有 80B 不代表部署只有 80B 的负担。真要上生产环境,量化、专家卸载、批处理策略这些活儿一样都躲不掉。预训练跑完只是把原材料备齐了。

4.2 到 12.3 倍,这个区间比数字本身更值得琢磨

为什么给不出一个准数

效率倍数从来不是一个固定值。它取决于你站在算力-损失曲线的哪个点上比较——模型规模不同、训练 token 量不同、目标损失不同,两条曲线之间的水平距离就会变。区间跨度接近三倍,通常意味着对比是在多个配置或规模档位上做的,每个档位给出的倍数各不相同。这不算遮掩,算诚实;真要拍一个「10 倍」出来,反倒更像营销话术。

把 DeepSeek 当尺子,是挑了最硬的对手

拿谁来对标,本身就是一种表态。DeepSeek 系列在业内被公认的强项恰恰就是训练效率,它的技术报告里关于 FP8 训练、通信优化的篇幅一直很实在。微软不挑别的,专挑这条线做基准,等于承认效率已经成了前沿模型的硬指标之一。反过来说,如果这个倍数站得住,说明微软在数据配比、学习率调度、并行策略这些不显眼的环节上,已经攒到了相当的火候——这些活儿没有捷径,只能一次一次烧卡烧出来。

训练省下来的算力,未必能省在推理上

预训练效率高,直接好处是同等算力能换更多 token、更大规模或者更高训练轮次,模型质量的天花板被抬高了。但这跟用户感受到的「便宜」是两回事。推理成本由架构、量化方案、服务栈效率共同决定,训练端省下的每一分钱,都要在推理端重新挣一遍。把两个成本混为一谈,是这一行最常见的外行误解。

微软自己下场练基础模型,图的是什么

和 OpenAI 的关系,从来不是二选一

外界习惯把自研模型读成「微软要甩开 OpenAI」,这个解读过于戏剧化。更接近现实的版本是:微软需要一个自己完全掌控的基础模型层,用于那些不适合走外部合作的产品线、需要深度定制微调的场景、以及对成本和延迟极度敏感的推理业务。合作和自研并行,在大公司里是常态。真正的问题从来不是「要不要」,而是「练出来的模型够不够用」。

数据管道、算力和评测,三样都得是自己的

基础模型的复利不在模型本身,在周边。清洗后的数据从哪来、训练集群怎么调度、评测集怎么设计才能不被自己人钻空子——这些能力沉淀下来,下一次迭代的成本会明显低于这一次。MAI-Base-2 是这条曲线上的一个点,不是终点。真正值钱的是把第二个、第三个点做得更快更便宜的组织能力。

预训练能力本身就是谈判筹码

能独立练出前沿基础模型的团队,在全球范围内数得过来。这个位置带来的不只是技术自主,还有议价空间——无论是面对上游芯片供应商,还是面对下游的应用方。微软把预训练成绩公开,一半是在向技术圈交付证据,另一半是在向商业世界传递信号。

成绩单之后,真正决定胜负的几件事

开源阵营的追赶速度没有慢下来

「低于所测全部开源权重模型」这句话有保质期。开源社区的迭代节奏以月计算,今天被超过的权重,几个月后就会换一批新的。BPB 领先是当下的快照,不是护城河。真正决定长期位置的,是下一版能不能继续保持领先,以及领先的幅度是在扩大还是收窄。

后训练才是从模型变成产品的关卡

基础模型再强,也只是半成品。指令跟随、工具调用、长上下文里的稳定性、拒答边界——这些全靠后训练和一轮轮对齐打磨。很多在预训练指标上漂亮的模型,一旦进入真实产品场景就露怯。微软手里有 Copilot 这条产品线,意味着它有别人少有的真实反馈回路,这可能是比预训练效率更被低估的资产。

缺一份可复现的说明

到目前为止,我们拿到的是一组对比数字,而不是完整的技术报告。倍数怎么算的、评测集怎么选的、基线模型的配置是否对齐——这些细节不公开,外部的独立验证就无从谈起。在基础模型这个领域,愿意把训练细节写清楚的一方,通常也是对自己的方法更有底气的一方。MAI-Base-2 值得关注,但它现在还是一份摘要,不是一份论文。

AI智能体
企业级AI智能体开发与部署方案
LumeValley打造企业级AI智能体全流程方案,涵盖需求洞察、定制开发、多平台适配部署。凭借专业算法与丰富经验,确保智能体精准理解业务,高效执行任务,无缝融入企业生态,为企业数字化转型提供强劲智能引擎,提升核心竞争力。
点赞 | 23

Lumevalley——全栈AI服务领航者,以“战略-应用-算力”三位一体服务框架,为企业提供从顶层战略规划、场景化AI智能体(AI Agent)开发/搭建/部署,到企业级AI应用开发、AI+行业场景解决方案的全链路服务,并配套AI大模型部署与高性能AI算力底座支撑,助力客户在营销、服务、运营等核心环节实现效率倍增与模式创新。

马上扫码获取产品资料
下一篇: 没有了
相关文章

相关文章

填写以下信息, 免费获取方案报价
姓名
手机号码
企业名称
  • 建筑建材
  • 化工
  • 钢铁
  • 机械设备
  • 原材料
  • 工业
  • 环保
  • 生鲜
  • 医疗
  • 快消品
  • 农林牧渔
  • 汽车汽配
  • 橡胶
  • 工程
  • 加工
  • 仪器仪表
  • 纺织
  • 服装
  • 电子元器件
  • 物流
  • 化塑
  • 食品
  • 房地产
  • 交通运输
  • 能源
  • 印刷
  • 教育
  • 跨境电商
  • 旅游
  • 皮革
  • 3C数码
  • 金属制品
  • 批发
  • 研究和发展
  • 其他行业
需求描述
填写以下信息马上为您安排系统演示
姓名
手机号码
你的职位
企业名称

恭喜您的需求提交成功

尊敬的用户,您好!

您的需求我们已经收到,我们会为您安排专属电商商务顾问在24小时内(工作日时间)内与您取得联系,请您在此期间保持电话畅通,并且注意接听来自广州区域的来电。
感谢您的支持!

您好,我是您的专属产品顾问
扫码添加我的微信,免费体验系统
(工作日09:00 - 18:00)
电话咨询 (工作日09:00 - 18:00)
客服热线: 18011747352
售前热线: 189 2432 2993
扫码即可快速拨打热线