11 月 4 日，淘宝 MNN 团队开源了 MNN-Pocket-0.3B，在 iPhone 18 Pro 上跑出约 350 tok/s。 部署包只有 173MB。通信世界MNN 技术报告
另一边，PrismML 在今年 7 月把 27B 压到 3.9GB，塞进 iPhone 17 Pro，实测约 11 tok/s。 到了 iPhone 18 Pro，演示速度是前代的两倍，但和 0.3B 仍差一个数量级。微博CNMO科技
按翻倍后的速度算，一段 500 个 token 的回答也要 20 多秒；0.3B 不到 1.5 秒。0.3B 的 1.5 秒，适合你点开商品时，评论里的观点立刻抽出来；27B 的 20 多秒，适合你让它读一份长合同，等它慢慢想。
参数差 90 倍，文件只差 22 倍。27B 的原版是几十 GB，Bonsai 用 1-bit 二值权重把它压到 3.9GB；0.3B 用 INT4，部署包 173MB。27B 用更狠的精度让步，换来了还能塞进手机的体积。
速度差，是内存带宽的算术。解码时每生成一个 token，都要把模型权重从内存里读一遍。0.3B 每次搬 173MB，27B 每次搬 3.9GB；按 350 和 11 tok/s 粗算，前者每秒搬约 60GB，后者约 43GB。iPhone 18 Pro 的统一内存带宽是 115.2GB/s。 两个数字都已经是几十 GB/s 的量级，而手机带宽只有一百多 GB/s。27B 每吐一个字要搬的数据是 0.3B 的 22 倍，速度自然被按在地上。手机 NPU 再快，也得等内存把权重送过来。CNMO科技
那 0.3B 是不是只能做玩具？MNN 的技术报告里，它在 11 项中英文基准上平均 50.00 分，INT4 版 49.59，只掉 0.41 分；超过 Qwen3-0.6B 的 44.28。在电商评论抽取上 F1 80.15，压过参数量近 6 倍的 Qwen3-1.7B。报告也把边界写得很直白：知识密集任务和复杂推理仍然吃力。MNN 技术报告
27B 这边，强项不是把一句话说得更顺，而是把一件事做长。PrismML 说它能做多步推理、结构化工具调用、视觉任务，以及 computer-use 智能体循环。 1-bit 版在 15 项基准的综合分是 76.1，保留原版 90%；三元版 80.5，保留 95%。36氪微博
更麻烦的是，手机上能跑的是 1-bit 的 3.9GB 版，不是那个更聪明的三元版。2-bit 的 Bonsai 2 体积太大，装不进 iPhone 18 Pro。 所以你在手机上拿到的 27B，是它让得最多的一档。CNMO科技
独立测试也提醒，别把“保留 90%”当成每项任务都打九折。有测试者在更强的三元版上跑完 agent 和代码任务，结论是：官方平均保留 98.2%，但 agent/代码类任务只有约 75%。 三元版尚且如此，手机上那版 3.9GB 的 1-bit，只会更吃力。知乎
所以，0.3B 和 27B 的差别，不是谁更聪明，而是谁更适合眼下这件事。0.3B 适合塞进 App 的每一次点击：分类、抽取、改写、语音指令、通知摘要。它 173MB，能一直住在 App 里；项目成员说，在自己的测试负载下跑 100 次增量，耗电不到 1%。 27B 适合那些值得等几十秒的任务：读一份长文档、拆一个多步问题、看一张图、跑一段 agent 循环。27B 很慢，但对你一天只做几次的事，慢不是问题；对每次点击都发生的事，慢就是问题。小红书
这也是“智能密度”开始被频繁提起的原因。它衡量的不是模型有多大，而是每 GB 部署体积能换回多少能力。 0.3B 把每一 MB 花在“马上要用”的能力上，27B 把每一 GB 花在“关键时候能顶上”的能力上。手机不会只留一种模型：小模型负责日常的几百次点击，大模型负责少数几次硬仗，才是更现实的组合。36氪
回到开头那 11 tok/s 与 350 tok/s 的差距：它不是谁取代谁，而是手机这个盒子同时容得下两种智能。一个让你感觉不到它在算，一个让你知道它真的在算。选哪个，取决于你更常做哪一种事。
