35B塞进3GB内存,淘宝还装了个模型:端侧AI要不要加钱?
如果你觉得"最近AI没啥大新闻了",那可能只是风向变了:今年11月,三条看起来不相关的消息前后脚冒出来,全都指向同一件事——把模型塞进你的手机。
第一条,35B参数的模型被塞进了3GB手机内存。 面壁智能的MiniCPM-V 4.7,总参数35B、每次只激活约3B,手机端无损流畅运行,内存占用约3GB,每秒生成超过20个字,旗舰机型上经调度优化可到30个;同系列1B版本下探到千元机,而且已进入量产手机,为三星Galaxy Z Fold8系列的Galaxy AI提供端侧能力。知乎
第二条,淘宝MNN团队开源了一个0.3B端侧模型MNN-Pocket,体积只有173MB,手机本地离线就能跑、不用联网。它的定位就是给App加本地问答、商品智能解读这类功能,把做本地AI的门槛打下来。知乎
第三条,淘宝App被曝在你手机里部署了一个端侧AI导购模型,用你手机的算力预测购物意图。评论区有条说法很扎心:“它是不是还盗用用户的CPU和内存?”知乎

三条消息串起来,一个信号很清楚:端侧AI正在从发布会演示板上爬下来。过去两年,行业里把大模型装进手机的尝试不少,但大多停在演示阶段:要么跑得慢,要么内存放不下。发布会上的演示,落到日常常常变成"用过一次就忘"。这回不一样的是,模型真的越来越小、越来越强,手机装得下了。知乎知乎
为什么都说这是"必争之地"
学术界给了底层理由:清华大学孙茂松、刘知远团队与OpenBMB提出的"密度定律"——大模型能力密度随时间指数增长,约每3.3至3.5个月翻一番,每隔约一百天,一半参数量的模型就能达到当前最优性能。知乎
生意账也算得直白:2026年国内端侧AI市场规模有望达到8661亿元,2029年增至1.22万亿元。苹果、谷歌、华为、小米、OV、高通全部下场——谁都不想把手边这个"设备入口"让给别人。知乎

但对普通用户来说,真正要算的是四道墙。
第一道:内存,真金白银的门票。 7B模型按4bit量化,权重要占3.5~4GB;8GB手机被系统吃掉三四GB后只剩4~5GB,几乎"刚刚好",13B模型直接出局,所以才有那句大实话:在手机本地跑端侧模型,光模型权重就得占掉4到5个G的内存,不搞大内存,手机连基本的系统流畅度都保不住。翻译成人话:16GB正在成为端侧AI的起跑线。知乎知乎
第二道:带宽,决定"快不快"。 生成阶段每吐一个字,都要把全部权重从内存读一遍,瓶颈是带宽,不是芯片标称的TOPS。带宽60GB/s,理论上限约每秒17个token,实际只有10~15个。所以"NPU算力几百TOPS"是营销话术,"每秒端侧吐几个字"才是体验。知乎
第三道:功耗,决定它敢不敢常驻。 满载跑推理是几瓦到十几瓦的量级,5W连跑一小时,就吃掉5000mAh电池约27%的电。端侧模型只能"按需调用",做不到一直开着。知乎
第四道:知情权,没人提但最实在。 淘宝端侧模型相当于把一部分推理成本转移到了用户的硬件上。反过来问一句:关掉云端"个性化推荐",等于同意一个预测你购物意图的模型常驻本地吗?显然不等于。这笔账像没关紧的水龙头,一直在滴水。知乎
所以,现在要不要为它加钱?
半年内不打算换手机:不用等。 端侧目前刚过"能用"的及格线,复杂任务大多还是云端在跑,该用啥用啥。
正好要换手机:先看两样。 内存优先上16GB+,再确认是不是高频版LPDDR5X;别为TOPS数字付溢价。
担心算力被白嫖:多做一次检查。 系统设置里的"个性化推荐"开关和各家AI功能入口,用不上的端侧功能,建议关掉。

端侧AI刚从"演示"跨过及格线,值不值得加钱,取决于离线、隐私、秒回这三个刚需场景你能答上几个——答不上,别急;答得上,先看看你手机的剩余内存。
当前文章无评论,是时候发表评论了