如果现阶段的端侧AI让你觉得只是些小打小闹的7B、8B模型在跑简单的聊天任务，那Bonsai 27B的出场方式足够让这种认知颤一颤。它不是在参数规模上做了妥协的小模型，而是直接把一个全尺寸27B模型塞进了手机——准确说，塞进了iPhone 17 Pro。用的手段，是激进到让人有点不安的1-bit量化。
一块27B的“压缩饼干”是怎么炼成的
三元到二值，每一步都在砍体积
Bonsai 27B基于Qwen3.6 27B底座，提供了两个变体。三元变体每个权重平均占用1.71个有效比特，整个模型盘踞5.9 GB空间。这已经很极端了，但真正让人把咖啡杯放下来的是1-bit变体。每个权重压缩到1.125个有效比特，体量骤降至3.9 GB。这是什么概念？一部iPhone 17 Pro不用甩掉所有后台应用、不用依赖云端帮手，就能在本地把这个大块头跑起来。27B尺度下的模型，第一次在口袋里活了过来。
量化损失这件事，数字比形容词诚实
大部分人听到1-bit的第一反应是：精度是不是塌成泥了？15项基准测试的答卷很干脆。三元变体保留全精度基线95%的性能。1-bit变体，也没有跌破90%这条线。更耐人寻味的是数学和编码这两块硬骨头，成绩几乎分毫不损。也就是说，那些需要严谨逻辑链条的任务，对极低比特量化并没有想象中那么敏感。工程团队显然在量化策略与微调方案上下了苦功，才没让模型变成一本缺页严重的工具书。
只跑模型不干活，那叫半成品
上下文窗口与推理速度，谁都不能偏科
端侧部署最怕两样东西：一个叫内存不够，一个叫回答太慢。Bonsai 27B把内存用到了3.9GB这种数字，同时撑起了一个262K token的上下文窗口。这意味着它可以一次性消化厚得像技术手册的文档，而不需要像翻旧报纸那样来回截断。再加上对推测解码加速的支持，生成速度不至于掉到让人等一杯手冲的节奏。大窗口加不拖后腿的速度，让它在手机端真正具备了“可用”这个朴素但珍贵的资格。
Agent循环不再向账单交租
这才是整个发布里最危险的信号。Bonsai 27B不只是能聊天的脑子，它支持多步推理、结构化工具调用、视觉任务和计算机使用智能体循环。说白了，它能自己操作软件、调用API、看屏幕、做决策，再循着反馈继续下一步。过去这套流程的每一小步都在消耗API Token，账单按月结让人肝颤。现在这些推理链条全在本地转，边际成本趋近于零。端侧Agent不再是实验室玩具，而是一个真的可以压进产品里的经济选择。
开源不喊口号，直接上Apache 2.0
许可证不是点缀，是路线宣告
模型采用Apache 2.0许可证开源。没有太多附加条件，没有商业授权的灰色地带，拿来就能用的那种干脆。这种选型传递的信息再直白不过——就是让开发者把模型嵌入产品、做二次开发、甚至直接放进商用流程。极低比特量化的工程成果加上无摩擦的许可，组合起来就是一份端侧生态的邀请函。谁先玩明白，谁就能拿到一套完全没有云端依赖的智能体引擎。
一个幽灵，端侧推理的幽灵
27B模型在本地跑起Agent闭环这件事，本质上是在向云端推理的核心利润区捅了一刀。当手机能自己完成多步工具调用和视觉任务，那些按调用次数收费的API就不再是唯一选项。当然，手机端跑模型依然有功耗、发热和算力天花板，但Bonsai 27B至少证明了一件事：门槛已经降到可以一脚跨过去的程度。开发者不可能忽视一个3.9GB的完整Agent大脑——尤其当它还不收一分钱。
