11月5日晚，淘天MNN团队的负责人宣布 MNN-Pocket-0.3B 全面开源：一个约3亿参数、为装进成熟手机App而设计的端侧模型。官方的产品口径是面向手机应用的任务需求与资源预算，在有限算力、内存和能耗下，兼顾任务能力、响应速度与持续运行体验。最受关注的数字在真机实测里：模型通过MNN推理引擎完全离线运行，平均解码（Decode）速度约为350token/s，INT4部署文件体积仅173MB。这个速度已经超过人的阅读速度——补全、摘要、分类、离线翻译这类高频小任务，手机以后可以不联网、不把数据发上云端，就地秒答。小红书IT之家知乎
快不是玄学，是"每个字读的权重变少了"
端侧大模型喊了两年，多数功能停在发布会演示，卡点在物理层：decode阶段每生成一个token，都要把模型权重从内存完整读一遍，速度上限由模型体积和内存带宽决定，NPU算力再高也救不了。作为参照，常见4bit量化的7B模型权重约3.5GB，生成一个token就要读3.5GB的数据，手机实际生成速度通常只有十几到二十 token/s。 MNN-Pocket-0.3B把单次加载的权重量压到百兆级，350 token/s本质是"每读一个字搬得更少"的直接结果。知乎
为了让这3亿参数变小变快，工程取舍写在了开源材料里：定稿选28层加GQA结构，词表从151K砍到64K、约减57%。团队试过16、28、36层，发现28到36层评测均分不涨，解码反而明显掉速。设计目标也定在实用线而非跑分线：端侧解码大于200 token/s、峰值内存增量小于300MB，并尽量压功耗。小红书
173MB省在哪，账要算完整
和同档位模型比，差距是结构性的：同组端侧测试里，它对比Qwen3-0.6B的部署文件是173MB对340MB，少约49%；峰值内存增量228MB对427MB，少约47%。另一组平板数据同样可观：iPad Pro M5、Metal后端、512 token条件下解码466 token/s，同设置下约为Qwen3-0.6B（286 token/s）的1.63倍。但要注意，这组是平板数据，和iPhone 18 Pro那组350 token/s的设备、输入输出条件都不同，两组数字不能混成同一个"跑分"。小红书微博
另一个容易被误读的点是：173MB不等于"整机只占173MB"。它是包含模型权重、分词器、计算图和推理配置的完整部署包，跑起来还要额外吃约228MB的峰值内存增量。功耗侧，团队披露在其测试负载下跑100次，增量耗电不到1%。知乎小红书
350 token/s的另一面：基准均分50
能力成绩单比速度数字冷静得多：11项评测平均50.00分，英文IFEval 73.20、中文IFEval 74.59、中文数学51.20、代码53.66。有行业媒体给这次发布的定调是：0.3B模型离线跑出每秒350个词元，端侧AI进入可用阶段。小红书通信世界
开源材料自己也写得直接：知识储备有限，不是通用模型；"达到8B级效果"是设计目标，不是已验证的结果。 所以它的生态位很清楚：擅长短、高频、规则清楚的任务——输入框补全、通知分类、离线翻译、短文本整理，这些不吃广博知识和长推理链，吃的恰恰是本地模型的速度、隐私和零网络延迟优势。复杂问答、长文写作、实时信息，仍然该交给云端。过去两年行业摸索出的"端云分工"路线，一直缺一个真正跑得起、装得下的端侧模型，这次补上的是这块拼图。小红书
对开发者和普通用户分别意味着什么
对开发者，这次开源是成套的：Base、SFT、指令和MNN部署等多版本模型，GitHub与Hugging Face均可下载，技术报告同步公开。底层引擎也有现成生态：MNN支持手机GPU和多家NPU，按其README口径已用在淘宝、天猫等30多个阿里系App里，这个0.3B模型就是为"装进成熟App"设计的。微博小红书
对普通用户，短期内的实际变化是App里的AI开始分流：简单任务本地完成，少一次网络往返、少一份数据上传；但本地能力有边界，也会带来发热和占用存储的新问题。下次看到"本地AI"的宣传，可以直接问三个可核验的问题：包多大、运行时占多少内存、断网后它答得对不对。350 token/s证明速度这一关已经过了，端侧AI的下一道关卡，是让用户相信它答得靠谱。
