推理这件事，终于被摆到 Kubernetes 的正中央。IBM、Red Hat 与 Google 共同主导的开源项目 llm-d 在 PyTorch Conference North America 上放出 1.0 版本——一个 Kubernetes 原生的分布式推理服务框架，口号很硬：任意模型、任意加速器、任意云。
这不是又一个把模型塞进容器就完事的部署工具。大模型推理的麻烦从来不在启动，而在调度：请求长短不一、KV cache 吃满显存、prefill 与 decode 抢同一张卡。llm-d 把这些当成集群级问题处理，借 Kubernetes 的编排能力做分片、路由与弹性伸缩，而不是让每个团队自己写一套粘合脚本。对已经在 Kubernetes 上跑业务的团队来说，这意味着推理服务能和其他工作负载共用一套运维语言，不必为一块 GPU 单独养一个平台。
“任意加速器、任意云”这句更像冲着锁定效应去的。当下的推理栈大多与特定芯片、特定云深度绑定，迁移成本高得离谱；开源框架若真把这层抽象做稳，议价权就从供应商手里挪回用户。当然，1.0 只是起点。NVIDIA 的 Dynamo、KServe 都在抢同一块地盘，谁能把分布式推理的复杂度真正吃掉，还要看接下来一年谁拿得出更多生产案例。llm-d 已经进了考场，现在轮到它证明自己扛得住真实流量。
