一台 Mac Studio 跑一万亿参数的模型,不再是演示视频里的特效。Unsloth 放出了 Mistral Large 4(代号 Le Chonk)的 Dynamic 1-bit GGUF:1T 参数 MoE 架构、单次推理只激活 52B,量化后体积约 233GB,比 1.1TB 的 FP8 版本瘦了 80%,top-1 准确率仍保住 91%。
先把硬件账算清楚。1-bit 路线要 256–270GB 内存,最小档 UD-IQ1_S 占盘约 233GB。这个数字听着夸张,可跟 FP8 那 1.1TB 摆在一起,它已经从机房滑到了桌面上。代价是那 9 个百分点——在代码生成、数学推理这类任务上,9% 的 top-1 损失并不算小数点后的事。Dynamic 量化的意思也正在这里:不是无脑压到底,而是按层分配精度,把损失摁在能接受的区间里。Mac Studio 顶配的统一内存刚好够用,等于给"本地跑大模型"重新划了条线。
能力面没被砍:文本与图像输入、1M 上下文、160 多种语言。GGUF 权重和操作指南放在 Hugging Face 的 unsloth/Mistral-Large-4-1T-A52B-GGUF 以及 unsloth.ai 的模型文档里,照着自己机器的内存挑量化档就行。要泼的冷水还是那条:模型在瘦身,内存这关原地不动。想真跑起来,绕不过 256GB 起步的门槛。1-bit 把权重变小了,也把选择权交回给了硬件。

