vLLM 宣布 Day 0 支持 Reflection 的 Beam 模型。501B 总参数、每 token 只激活 23B——这组数字摆在一起,就是当下 MoE 推理最典型的考题:权重规模把显存和带宽顶到极限,实际计算量却缩到原来的二十分之一。
账看起来好算,做起来难。501B 的权重让跨卡切分几乎不可避免,专家并行、张量并行怎么排布,直接决定通信开销会不会把省下来的算力重新吃掉;23B 的激活量又把单步计算变轻,瓶颈反而转移到调度和内存访问上。vLLM 这次的方案针对 NVIDIA Blackwell 做了优化,瞄准的正是这类不对称负载——不是把模型跑起来就算交差,而是让专家路由在真实并发下维持稳定吞吐。对部署方来说,这意味着选型时要看的不是峰值算力,而是框架能不能把稀疏激活的红利落进实际的 token 成本里。
更值得盯的是 Day 0 这个时间点。新模型发布当天就能拿到可用的推理支持,已经成了开源推理框架之间一条不写在纸上的战线。模型方愿意配合,框架方愿意提前投入,双方换来的都是开发者第一次尝试时的默认选择。Beam 这种体量的 MoE 尤其如此:谁先把它跑顺,谁就先接住这批模型的落地需求。

