3GB内存装下35B多模态:MiniCPM-V 4.7开源了,哪些数字能直接信、哪些要打折

源自172位全网作者

10-14 19:19

先把"35B跑进手机"说人话:35B是货架,3B才是干活的

10月13日,面壁智能联合OpenBMB开源了MiniCPM-V 4.7,官方口径一句话就能把端侧圈炸开:350亿总参数的多模态MoE模型,约3GB内存,iPhone 17 Pro Max上断网能跑出13+ tokens/s。量子位的实测更直观:飞行模式下给一张拿破仑远征俄国的行军路线图,问"图里最低气温、哪一天、换算成摄氏多少",不到一分钟,本地模型从图上读出零下30度(列氏度)、定位到1812年12月6日、换算出零下37.5摄氏度,全程没联网。同一张停车牌照片,优化前约2 token/s,优化后8~12 token/s。微博知乎

先给准备动手的玩家拆一个最容易误解的点:35B不是"每次运算动用35B"。这是MiniCPM-V系列第一次上MoE架构(前几代都是稠密模型),总参数35B、每个token实际激活约3B——35B是货架容量,3B才是每次上架干活的。它之前,行业里能在手机上流畅跑的主流是3B~7B稠密档位,30B级MoE上手机,多数手机厂商给的时间表是两三年之后。这次是直接把时间表提前"违规施工"了。知乎

能把"货架很大、随身负担很小"做成,靠三样东西叠加,每一项都对着端侧的真实瓶颈:

  • LES前瞻专家调度:MoE的老毛病是"这一层该叫哪个专家,要等上一层算完才知道",专家权重又大多躺在闪存里,读盘时间卡死每一层。LES把当前层的路由输入提前送进下一层的路由器,先猜出大概率要用的8个专家,后台线程提前从闪存搬运,实测能提前备好超过80%的所需专家,而且不需要额外训练;没猜中的照常加载照常算,不牺牲精度。iPad Pro M4 16GB上,这套调度把解码速度提了约5倍,到17~19 tokens/s。知乎

  • 逐层混合精度量化+连续存储布局:一个减少要搬的字节数,一个让闪存按顺序批量读数。

  • DSpark草稿模型(投机采样):小模型先猜一串token,主模型批量核验,固定开销摊薄。社区已经有人在RTX PRO 5000上跑第三方NVFP4量化版,单路149 tokens/s、8路接近950——开源的好处就是24小时内就有人帮你把各硬件档位试了一遍。

视觉侧则延续LLaVA-UHD v4的编码器内早期压缩,4x/16x两档随便切,外加全系列256K上下文,模型权重、推理代码、微调代码全开源。知乎

3GB内存装下35B多模态:MiniCPM-V 4.7开源了,哪些数字能直接信、哪些要打折

数字盘点:它赢在哪、输在哪,一张表替你对完

官方跑分看着很猛:MMBench 91.72、MMStar 80.67、MMMU 80.22、MathVista 88.00、Video-MME 76.40;最夸张的是文档解析榜OmniDocBench v1.6,94.24分,表里另外四个对手都在80分上下,领先12分以上。纯语言能力也不拉胯:中文知识CMMLU 90.21、工具调用τ²-Bench 84.65都是全场最高。知乎

3GB内存装下35B多模态:MiniCPM-V 4.7开源了,哪些数字能直接信、哪些要打折

但知乎有篇逐格抠模型卡的锐评值得对照看:拿4x压缩档对Qwen3.8-27B逐项比26个基准,它输掉的几项恰好是"手机AI最性感的卖点"——

维度

MiniCPM-V 4.7 35B-A3B

Qwen3.8-27B

谁赢

OmniDocBench文档解析

94.24

80.36

面壁,+13.9

MMBench综合视觉

91.72

85.91

面壁

LongVideoBench长视频

68.90

60.90

面壁

ScreenSpot(GUI识屏)

86.99

93.31

Qwen

LiveCodeBench代码

56.57

63.62

Qwen,差一个身位

MM-IFEval指令跟随

65.41

68.03

Qwen

MathVision纯视觉数学

74.24

78.22

Qwen

这个偏科分布其实符合直觉:它本质是多模态理解模型,看文档、读图表、长视频、账单小票是主战场;GUI操作、写代码、复杂agent不是它的活儿。量子位实测里,它把一张超市小票6件商品的单价金额逐行核对、算出优惠后实付78.40元与票面一致,1B版本(实际1.3B参数,MathVista 74.3、OCRBench 86.1)离线半分钟把一页论文截图转成带LaTeX公式的Markdown——这两个恰好就是端侧最刚需的场景。知乎知乎知乎

三处必须打折的信号:分数可信度先看这里

端侧圈的老人都有条件反射:厂商自测榜单,先扣两成再信。这篇也照做:

  1. 所有分数出自OpenBMB自己。模型卡写明"public reports + 本地用官方checkpoint评测",方法上比直接抄数字透明,但选基准往自家擅长的文档/OCR偏,是开源圈常态,MiniCPM不是例外。

  2. 换个实验室数字能差十几分。同一模型MathVision,Qwen官方卡给90.0,面壁表里给78.22——prompt、评测版本、判分口径都不一样,拿一张表去"对线"另一张表就是刻舟求剑。知乎

  3. “帕累托前沿前移”≠全面吊打。前沿图里Qwen3.8-27B慢速档才是全场最高分(约79.3),MiniCPM赢的是"同样的时间拿更高的分",不是"什么都能干"。3B激活的MoE比27B稠密快,本来就是架构红利,不能直接翻译成"更聪明"。

3GB内存装下35B多模态:MiniCPM-V 4.7开源了,哪些数字能直接信、哪些要打折

比较能打的一个亮点反而是16x视觉压缩几乎不掉分:MMBench从91.72只降到90.87,OCRBench从91.20降到90.40,省下的算力没有拿精度去换。这条比"登顶榜单"的含金量高。总体判断和那位抠模型卡的作者一致:方向可信,跑分待第三方(OpenCompass口径)复测再信,别急着拿它去替谁"站队"。知乎知乎

装不装?按设备和场景对号入座

先泼冷水:3GB内存是iPhone 17 Pro Max(12GB)的实测值,不等于你的手机。LES整套机制赌的是闪存读盘带宽——老旗舰如果闪存慢、剩余空间碎,专家预取命中率掉下来,速度会打回"每分钟往外蹦字"的原形。另外发热和续航目前没有公开量化数据,官方演示没提,第三方实测也还没铺满,这是接下来一周最值得盯的空缺。

按人群给判断:

  • 手里是iPhone 17系列/近一两年旗舰、经常处理发票病历合同、或者就想要"数据不出门":值得现在就装。官方支持iOS/安卓/鸿蒙,发布当天完成瑞芯微、后摩、Intel、AMD、Arm适配,llama.cpp、Ollama、SGLang、vLLM全线支持,GGUF/AWQ/GPTQ/FP8量化版本齐全。建议第一组测试题就用"4x vs 16x压缩跑同一组图+盯电量掉多少"。知乎

  • 中端机/千元机:先上1B版。1.3B参数在极小体积下把OCR、数学、视频做到同尺寸第一梯队,论文截图转Markdown这类活儿离线就能接住,等35B的第三方续航数据出来再说。

  • 主要拿本地模型写代码、跑复杂agent:别被"35B上手机"晃了眼,LiveCodeBench 56.57对63.62,这活儿现阶段还是Qwen3.8-27B或云端旗舰的。

  • 做二次开发的企业/开发者:配套的自回放微调(Self-Replay Fine-Tuning)是这次发布里容易被标题淹没的干货——微调前让模型自己生成"复习材料"混进训练数据,学新技能不丢旧本领,成本接近普通SFT,沿用标准微调流程,SWIFT和LLaMA-Factory就能接。知乎

3GB内存装下35B多模态:MiniCPM-V 4.7开源了,哪些数字能直接信、哪些要打折

更大的账本:为什么手机厂商比玩家先紧张

这条新闻的消费侧意义,藏在两组数字里。Counterpoint:2026年Q2智能手机内存价格环比涨幅突破80%,DRAM已超越SoC成为旗舰手机造价最高的单一元器件,存储占整机物料成本从早年的10%~15%爬到30%~50%;IDC:今年中国新一代AI手机出货量预计1.47亿台,同比增长31.6%,渗透率首次破53%——每卖两台新手机就有一台带端侧AI。知乎知乎

一边是每两台手机就有一台要端侧AI,一边是内存越来越贵,“堆内存堆能力"这条路越走越贵。MiniCPM-V 4.7这种"3G内存扛35B"的解法,等于给厂商递了把钥匙:旗舰级多模态理解第一次具备向中端价位段下放的技术条件(面壁家叫它"密度定律”:模型能力密度约每3.5个月翻一倍;MiniCPM系列到9月底累计下载已破5000万次,CEO李大海的说法是"2026是端侧AI规模化落地元年")。

对普通买家的反推:接下来选"AI手机",看内存大小的参考价值在下降,看闪存读写规格和本地模型适配名单的参考价值在上升——同样12GB,闪存快不快,决定你的手机AI是"唰唰往外蹦"还是"转圈等一分钟"。

下一步盯什么

  1. OpenCompass或第三方同基准复测——决定这波分数是"真越级"还是"会挑题";

  2. 首批中端机实测的发热/续航数据——官方还没公开的短板,社区两周内会补齐;

  3. 手机厂商跟进节奏——vivo、荣耀、OPPO、小米都在押端侧MoE,35B时间表被提前后,明年新机发布会的"本地大模型"环节大概率换台词;

  4. 下一档1B级迭代——如果能力密度定律继续兑现,三个月后同性能可能只要一半参数。

一句话收口:这次不是"又一个端侧小模型",是30B级多模态第一次合法住进你兜里的手机。分先打八折看,但方向和价格账本,值得所有玩机的人本周就装一版试试。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章