最近本地大模型圈最火也最吵的一件事,是一个350亿参数的模型被塞进了手机,3GB内存就能跑。
10月中旬,面壁智能开源MiniCPM-V 4.7,官方话术相当提气:35B参数MoE、手机平板3GB内存畅跑,还自称"全球首个能在端侧无损流畅运行的开源MoE多模态大模型"。11月中旬,B站UP主未忘人间把这模型塞进了自己做的离线套件里,实测只有约3字每秒,机身温度43℃上下。微博GitHub哔哩哔哩

3字每秒、43℃,是噱头还是未来,就看你怎么读这两个数。
为什么是现在才成?不是手机芯片突然支棱起来了,是模型开始学会抠门了。MoE的"35B"只是总量,每个token真正激活的参数大约3B——手机NPU干的活从"背户口本"变成了"只干这一页的活",官方还专门配了前瞻专家调度(LES)。新浪微博

吵点比进展更有意思。小红书上那篇攒了273条评论的质疑帖说得很直白:大部分用户只关心好不好用,对模型隐私的在意几乎为零,30B放手机上真没意义。底下136赞的最高赞评论更值得玩味:手机端放大模型确实没价值,但家庭算力中枢放个Flash量级的模型是大趋势。也就是说,连相信端侧的人,都未必相信要塞兜里。另一派的理由也很硬:具身智能、车这类设备等不起,线上API的通讯延迟大到不可接受;有人真机跑完,自嘲把手机折腾成了暖手宝;还有人场景卡死——深山、禁网环境、不能出门的代码。小红书
现在就想尝鲜的,记住三条底线:系统级的,鸿蒙本地多模态大模型从Pura 80(麒麟9020及以后)开始支持。折腾党路线,MiniCPM-V 4.7的35B-A3B或直接上1B版,配合IRIDIS这类开源离线套件,生图用骁龙8系NPU加小模型约10秒一张,上大的要一分多钟。以及,别指望它替你写长文档,3字每秒是拿来"没网也能用"的,不是拿来"火力全开"的。微博哔哩哔哩

结论应该怎么说?证据只支持走半步:手机本地大模型在2026年,是"能用的玩具",还不是"干活的工具"。速度和发热都摆在明面上,真正的争论其实是"谁的场景成立"。断网的野外作业、出不了门的数据、一秒都断不得的机械臂,这才是它的地盘。
手机本地大模型要赢的,从来不是云端的智能,是网络的可达性。至于它能不能走出演示阶段——高赞评论早就给了提示:答案可能压根不在手机里,而在那台"家庭算力中枢"的盒子里。
当前文章无评论,是时候发表评论了