n8n 工作流想接大模型,最省事的办法是调云 API,然后账单和合规两张网一起收上来。n8n 博客给的是另一条路:一台 NVIDIA DGX Spark,128GB 统一内存,塞进七个本地模型,前面架一层 LiteLLM,对外只暴露一个 OpenAI 兼容端点。全程不碰云。
128GB 统一内存才是这套方案的主角。它不是快,是能装。七个模型可以同时常驻,各司其职:小模型干分类和字段抽取,大模型啃长文档推理,embedding 单占一份。别指望这台机器跑出 H100 的吞吐,内存带宽摆在那儿;但“模型常驻”意味着换任务不用重新加载权重,工作流的延迟曲线从锯齿变成一条平线。
LiteLLM 是隐形的那一半。n8n 的 OpenAI 节点只认一个 base_url 和一个 model 名,LiteLLM 把七个本地模型翻译成七个可调用的名字,路由、重试、限流、用量记账全压在这一层。迁移成本因此低得离谱——工作流一行不改,把端点从云端地址换成局域网 IP 就完事。真正的难点不在部署,在选型:哪七个模型,按什么规则分流,什么任务值得动用大模型。这套架构最实在的好处是数据不出机箱,成本从 token 账单变成电费。

