面壁智能与OpenBMB社区在10月中旬开源了端侧多模态模型MiniCPM-V 4.7，包含35B-A3B和1B两个版本。官方给的说法是，这是"首个能在手机端流畅运行且能力无损的开源模型"：总参数350亿，运行内存占用约3GB。界面新闻微博知乎
对习惯按显存算账的本地部署用户来说，这两个数字放在一起有点难理解。
真正跑在手机里的，不是完整35B
面壁智能联席首席科学家姚远说得直接：350亿参数模型，“即使用较激进的4位量化，权重仍约15GB”，旗舰手机的可用内存一次性装不下。这一代的做法是采用MoE混合专家架构：总参数350亿，单次生成只激活约30亿，大部分专家权重留在手机闪存里，用到才读取。界面新闻微博
所以3GB是工作内存，不是模型体积。
卡点不在算力，在闪存读权重
反复加载意味着等待。姚远给过一个实测：直接按这个朴素方式跑，iPhone 17 Pro Max每秒只能输出3个token，“用户很难接受这样的速度”。界面新闻
面壁的解法叫前瞻专家调度（LES）：前一层还在计算时，推理引擎就预测下一层会用哪些专家、提前读取，把加载时间藏进计算时间里。调校后，iPhone 17 Pro Max的生成速度升到每秒13个token，iPhone 18 Pro Max能到20个；最新版本在精度损失可忽略的前提下优化到每秒30个，内存占用不变。界面新闻知乎
面壁自己认为的平衡点是每秒15个token，称这是"兼顾可用状态与最强端侧智能的最佳速度权衡"。
B站测评视频的评论区里，有条说法点到了关键：端侧MoE的瓶颈已经从算力挪到存储带宽，专家按token流式读取，随机读延迟会吃掉预取收益的大半。在PC上用CPU卸载跑过本地模型的人，对这个痛点不陌生。这次发布证明的是：调度做得足够好，加载确实可以被藏起来。哔哩哔哩
对本地部署用户意味着什么
1B版本进一步下探千元机，官方称上一代V 4.6已在部分千元机上跑到每秒约15个token。面壁的MiniCPM系列也已经进入量产手机，为三星Galaxy Z Fold8系列的Galaxy AI提供端侧模型能力。本地AI的门槛，正在降到手里那台现成的设备。界面新闻知乎
两处口径建议留个心眼。一是"超过2023年的云端旗舰GPT-4V"，这是厂商自评，参照系是三年前的模型。二是端侧长上下文仍是硬伤，社区里有本地部署用户反馈，7B量化模型在6000 token上下文时每轮对话要等好几分钟。这35B适合离线识图问答和轻量日常，别指望它替云端干重活。界面新闻哔哩哔哩
姚远的预测是"两年内GPT-6上手机"。面壁画过一张"等智能线"图：提供同等智能所需参数量持续下降，端侧能有效运行的模型尺寸持续上升，两线交点就是端侧追平云端的时刻。4.7把这根交点提前挪了一步。界面新闻
