11 月 6 日，淘宝旗下 MNN 团队发布了 MNN-Pocket-0.3B 模型，官方物料称其在 iPhone 18 Pro 上离线跑出 350 token/s，面向手机应用的任务需求与资源预算，在有限算力、内存和能耗下兼顾任务能力、响应速度与持续运行体验。 模型通过 MNN 推理引擎完全离线运行，平均解码（Decode）速度约为 350 token/s。 这也是通信世界等媒体把它概括为“端侧 AI 进入可用阶段”的原因。 它不改变“手机 AI 能做什么”的上限，但正在改变你每天打开的那些 APP 处理小事的方式：等待、联网和按次收费，这三个过去习以为常的成本，可以在一大批高频场景里被拿掉了。IT之家知乎通信世界全媒体
快，快到“输出速度”不再是体验的一部分
350 token/s 意味着一段 100 token 的中文回复不到 0.3 秒就全部生成，比人眼逐字阅读的速度快出一个数量级。过去用手机里的云端 AI 功能，按下发送要等网络请求、等服务端排队，再看着文字一行行流出来；生成效果不满意，改个指令还得再等上一轮。 日常高频的短任务——输入时的改写校对、通知摘要、搜索词扩写、相册打标——在本地会变成“敲完即出”的响应：第一次生成不再是流式的，而是整段直接出现。36氪
可以把这个速度放进行业现状里看。一位持续做端侧推理优化的开发者实测，骁龙 8 Elite Gen 5 级旗舰上，Qwen3-0.6B 走高通 QNN 路径在 NPU 上的 decode 为 32.56 token/s。 同参数量级，“端侧跑得动”和“端侧跑得跟手”此前是两个概念，350 token/s 把小模型第一次推到了“跟手”一侧。知乎
轻，轻到一个 APP 装得下、一天跑百次不心疼
端侧模型迟迟进不了主流 APP，卡在物理条件上：算力、内存、能耗三座大山，最后都被“手机没有风扇”这条硬约束卡住。 MNN-Pocket-0.3B 把体量压到了 APP 集成的可接受范围：INT4 MNN 部署文件体积仅 173MB，包含模型权重、分词器、计算图和推理配置。 参与该模型训练的开发者给出的口径是，测试负载下跑 100 次增量耗电不到 1%，全程离线、不需要云端资源。 换句话说，APP 开发者第一次可以把一个语言模型当作普通组件集成，而不是当作需要向用户申请“下载大模型”的重型功能。知乎知乎小红书
免费，因为厂商的云端账本撑不住了
“离线跑”对用户还有一层不常明说的意义：不消耗厂商的云端 token，而这恰恰是现在手机 AI 最贵的一项成本。11 月 5 日的报道显示，小米 18 系列的“传奇一瞬”大模型影像功能已采用积分机制，vivo 的 AI 定制美颜设置了使用额度，荣耀在部分市场的 AI 图生视频已转向免费额度加付费生成。 亿级用户反复调用云端大模型，token 成本压不住；当一个 0.3B 模型能在本地零边际成本地完成改写、摘要这类短任务，厂商把这些任务迁回端侧几乎是必然选择。未来你感知到的变化可能很朴素：一部分现在要排队、限额甚至扣积分的 AI 功能，换到本地跑之后重新变得随叫随到。36氪
为什么是现在：0.3B 档位的军备竞赛已经打响
这次发布不是孤例，而是一个正在收敛的行业判断：端侧不需要“小一号的通用助手”，需要“专精小事的快模型”。今年 2 月，腾讯混元基于 2Bit 端侧量化方案推出 HY-1.8B-2Bit，等效参数量仅 0.3B、内存占用约 600MB。 10 月，面壁智能的 MiniCPM-V 4.7 用 35B-A3B 的 MoE 架构把多模态能力压进约 3GB 内存。 苹果的路线也在印证同一件事：iOS 27.3 开发者测试版里，国行 Apple 智能首批落地的是写作改写、校对、摘要这类基础任务，复杂任务才交由接入的云端模型补充。微博智东西微博
淘宝 MNN 团队的差异点在于把“快和省”做到了这一档位的前列，官方介绍其全链路从零训练、重点面向中文场景，适合在成熟的手机 APP 里直接集成。小红书
边界：它改变的是“小事”，不是天花板
需要把预期放在证据范围内。3 亿参数决定了它擅长的是短文本的分类、改写、扩写和简单问答，写代码、长内容创作、复杂推理仍然要靠云端大模型。两个口径也值得留意：350 token/s 与“100 次耗电不到 1%”均为团队自测数据，前者来自 iPhone 18 Pro；按同一开发者在安卓旗舰上的公开实测，0.6B 模型的 decode 目前仍在十余 token/s 的量级，与 350 这个数字还有数倍差距。 另外，模型开源不等于功能上线：用户要真正在日常 APP 里感受到这些变化，取决于开发者把它集成进输入法、浏览器、相册这些高频入口的节奏。换句话说，这次发布确定的是“值得集成”的成本收益拐点已经出现，不确定的是你手机上的哪个 APP 先接入它。知乎
