SGLang 团队宣布原生支持 Reflection 的 Beam 1.0,并直接用它驱动 Reflection 的生产 API。两个数字先摆出来:501B 总参数,每 token 激活 23B。前者决定模型的知识容量,后者决定推理账单——稀疏激活比例约 4.6%,这是 MoE 能在这个量级上跑起来的前提。
但参数量从来不是难点。500B 级别的 MoE 一旦进入生产环境,真正卡脖子的是推理栈:专家路由带来的负载倾斜、all-to-all 通信的延迟抖动、KV cache 在长上下文下的碎片化,任何一环出问题,稀疏带来的理论收益都会被吃掉。SGLang 选择把 Beam 1.0 收进原生支持,而不是让用户自己拼调度和并行策略,等于把调优的活儿收回到框架层。更关键的是生产 API 这条线——它意味着这套组合已经在扛真实流量,而不是跑在 benchmark 上的漂亮数字。
"原生"两个字值得盯住。过去一年,开源推理框架的竞争已经从"支持多少模型"转向"对某类架构理解得多深"。Beam 1.0 的规模摆在那里,谁能把它的单位 token 成本压下来,谁就拿到下一轮的话语权。SGLang 押的是这条路径,Reflection 则借它把 501B 的模型送进线上服务。接下来要看的是吞吐曲线在高并发下的实际表现,以及这套方案在长序列场景里能不能守住优势。

