把 350 亿参数的混合专家模型塞进手机,还要跑出实时速度,面壁智能说他们做到了。MiniCPM-V 4.7 背后那套叫“前瞻专家调度”(LES)的技术,让 35B-A3B 规模的 MoE 在 iPhone 18 Pro Max 上实测解码超过 20 token/s,官方给出的说法是“端侧实时无损运行”。这个数字放在两年前,属于要被拉出来质疑造假的量级。
端侧跑 MoE,卡点从来不在算力,在搬运。每生成一个 token,模型都得先算路由、再按路由去取对应的专家权重,而这些权重躺在闪存里,取一次就是一次等待。35B 总参数意味着哪怕只激活 3B,剩下那 32B 也不会凭空消失——它们照样占内存、照样吃带宽。LES 的思路是把调度提前一层:预判下一步要激活哪些专家,让权重读取和计算重叠起来,用算力去填 I/O 的空窗。说穿了,是让模型别临时翻书架,提前把可能用到的书摆到桌上。难的不是这个想法,是预判的准头,猜错了反而更慢。
另一个容易被忽略的变量是硬件。20 token/s 是在 iPhone 18 Pro Max 上测出来的,苹果的统一内存架构和高带宽是实打实的底子。同一套技术挪到中端安卓机上会掉到多少,面壁没给数据。端侧大模型这条赛道,比的从来不是单点模型能力,而是模型、芯片、内存三者咬合得有多紧。这次面壁把 MoE 的端侧门槛往上顶了一档,值得记一笔;但“无损”两个字能不能在不同设备上站住,还得看接下来的第三方实测。

