mlx-vlm v0.6.3 来了,这次最大的看点是两个 Day-0 支持的新模型:Google 的 DiffusionGemma 和 Cohere 的 North Mini Code 1.0。先说 DiffusionGemma——这玩意打破了"文本生成只能 autoregressive"的铁律,改用扩散模型思路:以 256 token 为一个块并行生成,配合双向注意力和迭代自纠错机制,块与块之间互相校验,输出质量反而比传统逐 token 预测更稳。参数规模 26B,但它是 MoE 结构,每次推理只激活 3.8B,量化后 18GB 就能塞进 Mac 跑,本地党的福音。
North Mini Code 1.0 则走另一条路:30B MoE 仅激活 3B,BF16 精度下生成速度约 66 tok/s,定位偏编码辅助,体量轻但响应快。两款模型之所以能"发布即支持",是因为 mlx-vlm 团队和 Google、Cohere 做了深度合作,在模型公开当天就完成了适配——这种节奏在开源生态里并不常见,说明 Apple Silicon 本地推理这条路线已经被头部厂商正式纳入发布流程。
安装方式一如既往的轻量:uv pip install -U mlx-vlm 即可升级。对 M 系列芯片用户来说,这意味着不用等云端 API 降价、不用担心数据外泄,就能在本地体验到最新一代的大模型能力——尤其是 DiffusionGemma 那种非自回归的生成范式,给了从业者一个观察"文本生成还能怎么玩"的新窗口。

