35B多模态塞进3G内存:iPhone断网就能跑,端侧AI这次卷疯了

源自123位全网作者

10-14 19:06

先想象一个画面:手机开了飞行模式,你怼给它一张密密麻麻的图表,不到一分钟,它从图上读出最低气温、对应日期,顺带还把摄氏换算做完了。量子位

这不是云端演示,是发生在 iPhone 17 Pro Max 上的事。10月13日,面壁智能联合 OpenBMB 社区正式开源 MiniCPM-V 4.7:一个 35B 参数的 MoE 多模态大模型,只占约 3G 内存,解码速度每秒 13 个 token 以上,号称首个在端侧「不牺牲性能」也能流畅跑的开源 MoE 多模态模型。量子位面壁智能魔搭社区

两个版本,两种活法。35B-A3B 总参数 35B,但生成每个 token 时真正参与计算的只有 3B 左右——相当于 35 件装备,出门只带 3 件最常用的。1.3B 小版本则能把一页论文截图在手机上转成 Markdown,标题、表格、LaTeX 公式基本无损还原,MathVista 74.3、OCR 86.1,是同尺寸里的第一梯队。全系支持 256K 超长上下文,权重、推理代码、微调代码全部开源。量子位魔搭社区脑极体

35B多模态塞进3G内存:iPhone断网就能跑,端侧AI这次卷疯了

很多人好奇:35B 是怎么塞进 3G 内存的?

答案是过日子,不是变魔法。第一步,MoE 分装:每次推理只激活一小撮「专家」,模型不用整体常驻内存。但专家平时躺在闪存里,用到再读,干等就卡。于是面壁全球首发了「前瞻专家调度」(LES):当前层还在算,就把它的路由特征喂给下一层路由器,提前猜出下阶段要用哪些专家,后台线程先把权重搬进内存——不用额外训练,就能提前备齐超过 80% 的所需专家。iPad Pro M4 实测解码提速约 5 倍,达到每秒 17~19 个 token。再配合逐层混合精度量化、权重连续排布,以及视觉 token 16 倍压缩——MMBench 91.72 压到 16 倍后只掉到 90.87,几乎白捡的算力。量子位脑极体面壁智能

35B多模态塞进3G内存:iPhone断网就能跑,端侧AI这次卷疯了

能力上,这台「小钢炮」不躲大活儿:MMMU 80.22、MathVista 88.00、视频理解 Video-MME 76.40。文档基准 OmniDocBench v1.6 拿到 94.24 分,比同场 80 分上下的其他模型领先 12 分以上。实测里,断网状态电费账单能逐项算清,复杂停车规则五项判断经 API 实测全部答对。面壁智能量子位

35B多模态塞进3G内存:iPhone断网就能跑,端侧AI这次卷疯了

为什么这玩意儿值得刷屏?因为内存实在太贵了。Counterpoint 数据,2026 年二季度智能手机内存价格环比涨超 80%,DRAM 已经超过主芯片 SoC,成为旗舰手机最贵的元器件——靠堆内存堆 AI,越堆越亏。而 IDC 预计今年中国新一代 AI 手机出货量达 1.47 亿台,同比增长 31.6%,渗透率首次突破 53%:每卖两台新机,就有一台带端侧 AI。用更少的内存跑更大的模型,等于给手机厂商省成本,还附赠离线隐私和零延迟。脑极体量子位

生态也跟得上:发布当天 Intel、AMD、Arm、瑞芯微、后摩就完成适配,llama.cpp、vLLM、SGLang、Ollama 全支持,GGUF、AWQ、GPTQ、FP8 量化版本直接下载,iOS、安卓、鸿蒙都能部署。MiniCPM 系列累计下载量已突破 5000 万次。面壁智能量子位

真正的信号是:端侧多模态 AI 正在从「能用」跨到「好用」。以后你手机上的离线 OCR、图表解读、视频摘要,可能都不必看云端脸色。这一轮卷的不是谁的参数大,而是谁的 3G 内存更干净。

内容由AI生成
1
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章