端侧大模型这个词，被念叨了快三年，真正能在手机上跑起来还不掉帧的，一只手数得过来。10月13日，面壁智能联合 OpenBMB 社区把 MiniCPM-V 4.7 开源了，一次放出 35B-A3B 和 1B 两个规格，官方口径相当硬气——全球首个可在端侧无损流畅运行的开源 MoE 多模态大模型。这句话里每一个定语都值得掰开看，因为过去两年，卡住端侧多模态的恰恰就是这几个词背后的工程现实。
端侧这两个字，比多模态难兑现得多
一笔算不过来的参数账
一个 8B 级别的多模态模型，权重用 INT4 压到极致，也得吃掉四五个 G 的存储，跑起来还要持续占着内存带宽。而手机能留给 AI 的预算有多少？现实一点说，一两个 G 就算大方了。中间那点差距不是靠工程技巧能磨平的，它是数量级层面的落差。所以这几年端侧多模态基本停在两个尴尬的位置：要么模型小到只会念图，要么大到只能待在云上。真正的分水岭从来不是模型能力，而是这台设备愿不愿意为它让出资源。
MoE 不是新故事，新的是把它按进手机
混合专家架构的思路谈不上新鲜，把一个大模型拆成若干专家，每次前向只唤醒其中一小撮，用总参数换能力上限，用激活参数换推理成本。35B-A3B 这个名字说的就是这件事：总参数 35B，单次激活 3B。难点不在结构本身，而在于调度机制得在手机这种没有独立显存、算力随时被系统抢走、温度一上来就降频的环境里稳定工作。云端推理可以假设资源充足，端侧不行。端侧每多一次内存搬运，用户手里就多一次卡顿。
“无损”两个字该怎么理解
这类表述一般指的是部署时不必依赖激进量化，也能把精度损失控制在可忽略的范围内。换句话说，模型不是靠把自己砍成残废才挤进设备的。这一点对多模态尤其关键——文本模型量化到 4bit 往往还能凑合，视觉编码器一旦被压得太狠，OCR、细粒度识别、小目标定位会率先崩掉，而这恰恰是端侧最常用的场景。真要在手机上做无损，考验的是从训练阶段就为低比特部署留出余量，而不是事后补救。
35B-A3B 和 1B，其实在打两场不同的仗
大杯的战场不在口袋，在边缘盒子
35B-A3B 这个规格放在手机里是想都不用想的，它的目标场景是边缘服务器、一体机、车机主控、机器人本体这类有独立散热和供电的载体。这些设备过去要跑多模态，基本得联网调云端 API，延迟、隐私、断网可用性全是问题。一个总参数 35B、激活 3B 的模型如果能常驻本地，意味着一条产线、一台医疗设备、一辆车可以完全离线地理解图像和文档。这条线的商业价值，比在手机上炫技实在得多。
1B 才是真正走量的那一档
1B 版本对应的才是普通人手里的设备：手机、平板、耳机、智能摄像头，甚至一些带摄像头的可穿戴。这个体量意味着它可以常驻内存，可以在后台一直醒着，可以在用户按下快门之前就已经在看。端侧 AI 真正被感知到的时刻，从来不是用户主动打开某个 App 去问它问题，而是它在你没注意到的地方把事办了——相册里按语义搜图、离线把菜单翻成中文、把一段纸质合同读成结构化数据。
双规格开源，是老练的做法
大杯用来证明技术上限，小杯用来被真正集成，这套组合拳开源社区已经验证过很多次。只放小模型，会被质疑能力不行；只放大模型，没人部署得动。两个一起给，等于同时向两类人群喊话：研究者看能力天花板，工程团队看落地成本。面壁从 2B 级别的小模型一路做到 8B 级别，再把 MoE 搬上来，路线是连贯的，不是临时起意。
开源这张牌，为什么现在必须打出去
多模态的卡位战已经挤到端侧
过去一年，国内几家主力玩家在端侧多模态上都没闲着，视觉理解、文档解析、GUI 操作，能想到的细分场景都被切了一遍。云端模型的能力差距在缩小，端侧反而成了新的分水岭，因为端侧比的不只是效果，还有内存占用、首 token 延迟、功耗曲线这些非常工程化的指标。谁先在开发者的设备上跑通，谁就拿到了下一轮应用的入口。这个窗口期不会太长。
用开源换生态，这笔账算得过来
模型权重放出去，直接的收入是零。但面壁真正要的是分发和心智：当一家公司的私有化部署方案、一批硬件厂商的出厂预装、一群开发者手里的微调版本都基于 MiniCPM-V，后续的企业服务、定制训练、行业适配就有了入口。OpenBMB 社区在其中扮演的是放大器——它本身不做商业闭环，却能让模型以更低的摩擦进入高校、实验室和中小团队。这条路慢，但对于算力和资金都不占优势的一方，可能是唯一一条能走通的路。
最终裁判是开发者，不是发布会
开源模型的口碑不看通稿，看的是几周之后社区里长出什么。有没有人在树莓派上跑通、有没有人为特定行业数据做了微调、issue 区里提问的人是抱怨还是交流，这些才是真实反馈。端侧模型尤其如此，因为部署环境千奇百怪，官方不可能穷举。模型给出的是起点，剩下的路得靠别人替你走。这件事没法靠一场发布会解决。
从“能跑”到“好用”，中间还隔着什么
内存墙和功耗墙，谁也绕不过
端侧推理最硬的约束从来不是算力，是内存带宽。多模态模型要处理图像，视觉编码器的输入分辨率一高，激活值就跟着涨，带宽压力直接体现为发热和掉电。手机厂商对续航的敏感程度远超对 AI 功能的热情，一个能让电池少撑两小时的模型，再聪明也会被系统降级甚至干掉。这条线怎么划，最终是硬件和系统厂商说了算，不是模型厂商。
榜单分数和真实体感是两回事
多模态评测集上的高分，往往来自规整的输入和充足的推理预算。用户拿手机拍的东西是糊的、是歪的、是逆光的，背景里塞满无关信息。模型在标准测试集上拿多少分，和它在一次随手拍里能不能准确认出那瓶药的名字，中间差着好几道工程。真正决定端侧多模态成败的，是那些没人做成 benchmark 的琐碎场景。
普通人什么时候能感觉到变化
不会有一个明确的时刻宣布端侧多模态来了。更可能的情况是，某天你发现相册里能直接搜“上个月在海边拍的那张日落”，发现飞行模式下翻译依然能用，发现会议纪要不再需要把录音传上去。这些功能逐个出现，等你意识到的时候，模型早就装在你口袋里了。MiniCPM-V 4.7 是不是那个转折点，现在下结论太早，但它把 35B-A3B 和 1B 一起推出来，至少说明有人愿意把这条路往下走一段。
