手机跑30B大模型,和主流端侧模型差在哪?差的不是10倍参数

源自56位全网作者

16:37

把30B参数的大模型装进手机,已经从发布会口号变成了真机上的功能。华为于10月1日发布Mate 90系列,全系搭载旗舰级韬芯片,并宣布30B端侧大模型随系列上机。 同一时间窗口里,芯片与系统厂商密集表态:联发科9月中旬发布天玑9600Pro,宣称双NPU已能让手机本地跑30B级大模型。 vivo官方账号则确认正在预研蓝心30B MoE端侧大模型,探索在手机上应用。财联社微博vivo官方微博

但"30B"和现在手机里的主流端侧模型相比,差异并不是"参数量乘以10"这么简单,真正的差别落在三层:架构从稠密转向MoE、装填方式靠存算协同重做、以及由此改变的任务边界。

30B是"总人数",每次干活的只有1到3B

现在手机里的主流端侧模型几乎全是稠密(dense)模型:每生成一个token都要过全部参数,参数规模直接决定每次推理的计算量和内存占用,这是它们停在几B到9B量级的根本原因。30B走的是另一条架构路线——MoE(混合专家模型),可以把它理解成一家雇了很多专家的公司:总编制很大,但每个问题只叫醒其中几位。DeepSeek是这条路线最知名的例子,V3/R1总参数6710亿,每个token实际激活约370亿,激活比例约5.5%。

vivo在开发者大会群访中给出的数字更直接:模型只加载部分专家执行内容,“激活的参数在 1~3B,对内存的需求是 2~4GB”,理论上旗舰机就能带得动。 也就是说,同样推理一次,30B MoE的计算量和你手机里现有的3B级模型差不多一个量级——30B多出来的不是力气,而是知识容量:专家池更大,遇到长文档、复杂推理、多步骤任务时,能"叫醒"更对口的专家组合。微博

装不装得下,才是这道题真正难的地方

参数量大10倍的代价首先出在存储上:单算权重按16位精度存约60GB,即使压到4bit,理论上也要约15GB。 而旗舰手机的运行内存只有12GB—16GB,系统和其他应用还要占走一大块。微博

华为半导体业务无线终端芯片产品管理部部长徐松余在10月13日的麒麟媒体沟通会上,把这层矛盾概括为"放不下"与"跑不久"两道难题,解法是把芯片到系统重做一遍:多级存算协同、低比特量化、场景自适应方案,再加新一代达芬奇架构NPU,官方口径内存节省75%、功耗下降20%—50%。 换句话说,30B能上手机,靠的不是把模型删小,而是芯片厂商第一次为"大模型常驻"重构了数据在存储、内存、算力之间的搬运方式。微博

分界线划在任务边界上

要理解差别有多大,得先看清主流端侧模型的世界。7月15日网信部门公告,Apple智能、华为小艺AI大模型、OPPO AndesGPT、vivo蓝心端侧大模型、小米澎湃AI、三星盖乐世AI以及努比亚豆包手机大模型共7款手机端侧生成式AI服务完成备案,端侧AI进入规模化落地阶段。36氪

支撑它们的模型普遍很小:面壁智能的MiniCPM-V 4.6仅1.3B参数、6GB内存即可在手机上流畅运行,MiniCPM-o 4.5则用9B参数实现语音、视频、文本的全模态交互。 海外阵营同样在加内存门槛,有消息源爆料谷歌Gemini Intelligence要求安卓设备搭载旗舰芯片、运行Gemini Nano v3并至少配备12GB内存,此说法未获谷歌确认。 这些模型的共同定位是"轻任务端侧化"——摘要、翻译、通知整理、图像编辑辅助,任务短、延迟敏感、对知识容量要求不高;苹果国行智能则直接走了分层路线,10月31日官宣接入阿里通义千问,首批约18项功能随iOS 27.3在12月推送,轻任务本地消化、重任务交给云端模型。36氪微博36氪

30B MoE瞄准的正是这条线之外的东西。对普通用户最直观的例子,是以前得送到云端处理的修图现在可以在手机上离线完成,飞机上没网也能用。 vivo把预研30B的落点说得更直白:让"AI走在用户前面"的主动服务和系统级智能体在本地跑,规避数据上云的隐私顾虑,与模型同步预研的还有面向手机生产力场景的编程智能体。 需要说清的是,端侧30B依然远小于云端前沿大模型——同样走MoE路线的DeepSeek V3总参数6710亿,约是它的22倍——端侧30B补的不是"聊天更聪明",而是"离线也能干重活"。微博vivo官方微博

"能跑"和"已发货"是两回事

截至现在,真正把带30B端侧模型的手机交到用户手上的只有华为Mate 90系列。联发科天玑9600Pro的"本地跑30B"目前更多是平台能力宣称,“芯片支持"不等于"你手里的手机已有30B体验”,首批搭载它的终端还要等下一轮机型发布。vivo则明确承认30B还没有应用到产品上,因为"搬运和算力还是有需求",预计24个月、也就是2028年左右才逐步实现端侧大模型能力。 行业媒体把这轮动向概括为"手机跑300亿参数大模型,端侧算力竞争换挡"。微博通信世界

值得追问的是,竞赛为何偏偏在2026年突然提速。量子位援引TrendForce数据称,从2025年年中到今年短短一年多,部分DDR5内存的价格涨了近10倍,云端大模型的训练和推理吞掉了太多产能,需求开始向端侧溢出。量子位

同一时期,手机上能跑的模型也在快速膨胀,从3B涨到了30B+。 当Agent把推理变成高频、持续的行为,全走云端的账单和延迟越来越难看,隐私敏感的数据也更想留在本地——端侧承接的任务越来越重,30B才从噱头变成必答题。对用户来说,接下来值得观察的信号很具体:Mate 90上30B模型的真实离线体验、首批天玑9600Pro新机上市后的第三方实测,以及各家端侧AI付费功能的落地节奏。量子位

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章