蚂蚁集团把 Humming 交给了 vLLM 社区。这个量化推理内核库如今在 vllm-project 组织下公开,仓库地址 github.com/vllm-project/humming,代码谁都能拉。别把它看成一次普通的开源捐赠——推理引擎的战场,已经从框架层打到了内核层。
做量化推理的人都清楚问题出在哪。权重压到 4bit、激活压到 8bit,模型是变小了,可每种量化格式都得配一套手写 kernel:GPTQ 一套、AWQ 一套、FP8 又一套,换块卡还得重来。重复劳动堆在算子层,性能调优硬生生变成体力活。Humming 想解决的就是这种事——用通用抽象把多种量化格式和硬件后端收进同一个内核库,让上层框架不必为每种组合单独适配。取名蜂鸟,意思大概是体量小、振翅快,在显存和带宽都紧的地方把吞吐一点点抠出来。
更值得看的是它从哪来。蚂蚁的推理业务体量摆在那,这套内核大概率在生产流量里滚过,不是实验室攒出的 demo。vLLM 社区拿到的是被真实负载磨过的代码,普通开发者最直接的感受可能是:某次版本升级后,同样的卡、同样的模型,token 出得更快了。从社区治理看,中国公司往 vLLM 上游送核心组件,参与方式已经从“拿来用”变成“一起建”。Humming 能不能成为量化内核的默认选项还不好说,但至少,它把碎片化的算子适配往标准化推了一把。

