“Day 0 支持”这四个字,在推理框架圈子里比任何发布会都实在。vLLM 团队宣布 Mistral Large 4 上线当天就能跑——这是个总参数 1T、每个 token 只激活 49B 的原生多模态 MoE 模型,体量和稀疏度同时拉满,工程侧要填的麻烦可想而知。
架构上 Mistral 这次没走常规路线。MLA 稀疏注意力配 DSA top-k 索引器,目标很明确:长上下文下别让注意力计算把显存和带宽吃干净。跨层 KV 共享进一步压缩缓存占用,NoPE 干脆不给位置编码留位置,SSMax 和 LeRoPE 则更像是在训练稳定性上打的补丁——稀疏化做得越狠,越需要这类机制兜底。说白了,这套组合拳的每一招都在算同一笔账:万亿参数可以摆在那里,但每一步推理的成本必须压到可接受区间。
真正让部署方松口气的,是内置的 DSpark 推测解码草稿器和 Pixtral 视觉编码器。前者把解码吞吐往上提,后者让多模态能力不必外挂。vLLM 在模型发布当天完成适配,意味着这套架构没有藏着掖着的私有算子——社区可以立刻拿它跑起来,而不是等上几周看兼容性补丁。当然,框架适配只是起点,真正的考验在生产环境里能不能稳定扛住流量。

