Unsloth 刚刚放出 MiniMax-M3.1-Flash 的量化 GGUF,最激进的 2-bit 版本体积砍掉 45%,top-1 精度仍保住 91.5%。翻译成人话:一台 150GB 内存的机器,就能把这款模型完整跑在本地,不碰云端账单。开源模型的本地化竞赛,早就从「能不能跑」变成了「跑得多省」。
档位摆得很清楚。再往下是 1-bit,精度 89.9%,掉的那点对大多数任务几乎无感;往上走 4-bit 的 UD-Q4_K_XL 直接顶到 98.0%,基本等于原版。Unsloth 没打算让你在「跑得动」和「跑得准」之间二选一,两头都留了路。作者自己的说法是,这是同尺寸里最强的开源模型之一——这话有没有水分另说,但量化表就摆在那儿,跑一遍就知道。
真正值得琢磨的不是那几个百分点,是门槛被拉到了哪里。过去本地部署是硬件发烧友的玩具,现在一张权重表就能让普通工作站入场。2-bit 换 45% 的体积,这笔账在很多场景下相当划算。Unsloth 顺手给了 Hugging Face 权重和本地运行指南,从下载到跑起来的路已经铺平。剩下的问题很朴素:你的内存条够不够,以及你愿不愿意为省下的那点精度买单。

