145B 参数的大模型，塞进个人电脑。Edge0 把这句话写进发布公告的时候，顺手开源了 Edge0-145B 和 Edge0-120B 两个模型权重，外加一套统一推理框架和部署工具。参数规模本身没什么好兴奋的，云端早就跑到万亿级别去了。真正让这条消息在技术社区炸开的，是"本地"这两个字——它把一场原本只属于机房和 GPU 集群的竞赛，硬生生拽到了你的桌面上。
145B 跑在个人电脑上，这件事的重量在哪
先把显存这本账摊开
任何关于"本地能跑多大模型"的讨论，绕开显存都是耍流氓。145B 的全精度权重换算下来接近 290GB，这个数字放进消费级硬件里基本等于宣判死刑。所以 Edge0 这条路只有一个走法：量化。把权重压到 4-bit，体积能砍到 80GB 上下，再激进一点往 3-bit 走，还有下探空间。听起来是简单的除法，实操里全是坑——量化位宽每降一档，模型在长链推理和代码生成上的稳定性就掉一次，掉多少取决于量化方案做得糙不糙。
80GB 是什么概念？一台顶配的统一内存机器能容纳，四张 24GB 显卡拼起来勉强够，普通游戏本连门槛都摸不到。所谓"个人电脑"，在这个语境里其实有明确的硬件前提。发布会不一定会把这句话说透，但你得自己心里有数。
4-bit 量化不是银弹，但它够用
过去两年，量化技术最实际的进步不在算法论文里，而在工程细节上。分组量化、混合精度、对注意力层和 FFN 层区别对待——这些手段叠起来，让 4-bit 模型的输出质量已经逼近半精度版本，在多数日常任务里肉眼难辨。代价是推理框架要为不同的量化格式写专门的 kernel，这也解释了为什么 Edge0 一定要自己搭一套统一推理框架，而不是甩个权重文件就完事。
换个角度想：如果量化做得足够好，145B 在 4-bit 下的表现大概率能干过 70B 的半精度版本。这就是大模型世界的粗暴逻辑，参数规模带来的知识密度优势，往往能扛住量化损失的冲击。
速度：比分数更诚实的指标
基准榜单可以刷，token 速度刷不了。145B 在本地跑，出词速度的物理上限由内存带宽决定，跟显卡的算力关系没那么大。一台带宽在 800GB/s 量级的机器，跑 80GB 的 4-bit 权重，理论峰值也就是每秒十个 token 上下，实际还得打折。
十个 token 每秒意味着什么？读一段三百字的回答，你要等半分钟。用来做代码补全、文档摘要、离线批处理，完全能接受；用来做实时对话，你会觉得对面是个思考很慢但很有耐心的人。这个体验边界，比任何跑分都更能说明端侧大模型当下站在哪。
权重开源只是入场券，工具链才是那道门
统一推理框架，解决了什么麻烦
开源模型最劝退新手的环节从来不是下载权重，是配置环境。CUDA 版本对不上、算子没编译、量化格式不兼容，随便一个环节就能让人折腾一整天。Edge0 把推理框架一起开源，本质是在卖"确定性"——你拿到的是打包好的整套方案，而不是一堆需要自己焊接的零件。
"统一"这个词值得多看一眼。它多半意味着同一套代码路径能覆盖不同硬件后端，从统一内存架构到独立显卡再到纯 CPU 回退。这种抽象层做得好，会让模型的迁移成本大幅下降；做得糙，就是又一个需要打补丁的中间件。目前还看不出 Edge0 属于哪一类，但方向是对的。
部署工具瞄准的是哪批人
面向研究者的模型发布和面向工程团队的模型发布，差别在于后者会认真回答"怎么上线"这个问题。部署工具通常要处理模型分片、显存调度、并发请求排队、以及最麻烦的——在显存不够时优雅降级而不是直接崩溃。
这批工具真正的用户，是那些数据不能出内网的公司。医疗、金融、法务，这些行业对云端 API 的顾虑从来不是价格，是合规。能在本地跑一个 145B 级别的模型，意味着他们可以在不把病历和合同上传到别人服务器的前提下，用上接近前沿水平的推理能力。这才是端侧大模型最硬的需求。
开源之后，Edge0 靠什么活
把权重和框架都放出去，商业逻辑在哪？答案通常藏在三层：企业级支持与定制微调、针对特定硬件的性能优化服务、以及托管版的按量计费。开源权重负责建立生态和信任，钱从后面收。
这套打法在开源模型圈已经验证过很多轮。真正的风险不是赚不到钱，是模型放出去之后失去迭代节奏——社区跑得比你快，你的下一版还没发，别人已经在你基础上做出更小的蒸馏版本了。
端侧大模型的账，得按电费和耐心来算
云端模型的差距，正在被压缩
两年前，本地能跑的最好模型和云端旗舰之间隔着一条鸿沟。现在这条沟在变窄，原因不复杂：云端模型的进步曲线在放缓，而端侧靠量化和推理优化抠出来的性能提升还在稳定兑现。开源社区的迭代速度，某种程度上比闭源实验室更凶。
差距依然存在，尤其在超长上下文和多步工具调用这类吃算力的任务上。但"够用的智能"和"最强的智能"之间的价差，正在被越来越多的场景判定为不值得付。
120B 这个型号才是小心思
同时发 145B 和 120B，不是随手凑数。145B 是招牌，用来证明技术上限；120B 是产品，用来适配真实硬件。25B 的差距在量化之后可能对应十几 GB 的显存，这十几 GB 往往就是"能跑"和"跑不动"的分界线。
给用户两个尺寸选择，本质是在承认一件事：端侧推理没有标准答案，只有硬件约束下的最优解。这种务实，比发布会上吹一个跑不动的最大参数量要有诚意。
谁真的会把它装进机器
独立开发者会拿去试，因为免费且不受 API 限额约束。中小企业会拿去评估，因为数据不出门这件事开始变得值钱。至于普通用户——大概率不会，他们连本地部署这四个字都懒得搜索。
这没什么好遗憾的。端侧大模型的第一批用户从来不是大众，是把模型当成基础设施而不是产品的那些人。
别急着喊拐点，先把基准分数放一边
榜单分数从来不是全部
每次模型发布，基准分数表都会被摆在最显眼的位置。这些数字有用，但作用被严重高估。测试集和真实使用场景之间的落差，在端侧尤其明显——你在 MMLU 上高两分，不代表它在你的私有文档上少胡说八道。
更值得关注的是失败模式。一个模型答错题不可怕，可怕的是它在不确定的时候依然语气笃定。本地部署的一大好处是你有完整的日志和输出可控性，可以自己搭评测集，用自己的数据说话。这比抄别人的分数表靠谱得多。
内存带宽才是天花板
算力可以堆，带宽不行。这是端侧推理最冷酷的物理约束。你可以买更多显卡提升并行度，但单次前向传播要读多少权重，是模型结构决定的死数。145B 的 4-bit 版本每次出词都要把这 80GB 权重过一遍，带宽不够，再多的算力也只能干等着。
所以硬件选购的逻辑很清晰：优先看内存带宽和容量，其次才是浮点算力。这条建议在未来一两年内都不会过期。
那些没人写进发布会的成本
发布会不提的东西通常更有意思。比如长时间高负载运行后的散热降频，比如模型加载时那几分钟的等待，比如量化版本在某些语言上的性能塌陷，比如显存吃紧时推理框架的调度策略会不会突然让速度腰斩。
这些细节决定了端侧大模型是"能演示"还是"能干活"。Edge0 这次的发布给出了一个可验证的起点，剩下的答案要等社区真正把模型跑起来、跑久、跑出问题之后才会浮现。开源的意义也正在这里——让质疑者有机会自己动手检验，而不是坐在台下听结论。
145B 装进个人电脑这件事，真正的分量不在于数字刷新了记录，而在于它把一条原本封闭的能力边界，变成了可讨论、可复现、可反驳的公共议题。接下来要看的不是谁喊得更响，是谁的模型在自己的机器上跑满一个月还没被卸载。
