DeepSeek 把内部推理框架 DeepInfer 全面开源了,同步放出的还有生产级 Token 编解码组件 deepseek-recipe。这次开源的看点不是“又多了两个仓库”,而是东西选得很准——推理框架向来是各家捂得最紧的那一层。
模型权重开源早就成了常规动作,大多数团队交权重时,推理框架还留在手里做私有优化,这几乎是默认规矩。可真正决定推理成本和响应延迟的,恰恰是框架层那些不对外说的工程取舍。DeepInfer 是 DeepSeek 自己扛着线上负载打磨出来的推理框架,调度怎么排、显存怎么管、算子怎么拼,这些细节平时只存在于内部文档里。现在整套摆到台面上,等于把推理侧的工程经验一并交了出去。deepseek-recipe 则更容易被外行忽略:Token 编解码听着像边角料,但在生产环境里,它直接卡着请求解析的稳定性和吞吐上限,tokenizer 一旦出问题,前面模型再强也白搭。
两件事放在一起看,信号很清楚:开源竞争正在从模型权重往推理底座挪。过去比的是谁的模型分数高,往后比的是谁能把推理链路做薄、做稳,把单位 token 的成本压下来。DeepSeek 把自家吃饭的家伙递了出来,接下来要看社区能不能接住、改得动。

