10月15日，AI初创公司 PrismML 开源了 Ternary Bonsai 2 系列的 2B、4B、9B 三款三元压缩模型，目标就一个：让手机、PC 和可穿戴设备本地跑 AI 智能体。官方同步给出的真机演示数字是：在 iPhone 18 Pro Max 上，Bonsai 2 9B 本地推理最高约 34 tokens/秒，轻量的 2B 版本可达约 120 tokens/秒。 这组数字之所以值得单拿出来讲，是因为它跨过了"能用"的门槛：34 tok/s 已超过多数人的阅读速度，回答几乎是追着你的视线出；2B 的 120 tok/s 则接近"秒回"。配合 12GB 运行内存的新款 Pro Max，整个模型只占约六分之一内存——断网、免费、数据不出手机，这三件事第一次在一台量产旗舰上同时成立。当然，"最高"是官方演示峰值，真实体验要打过折扣，下面按场景拆开说。IT之家微博
为什么轮到这代 iPhone
Ternary Bonsai 2 的做法不是事后压缩，而是训练时就把权重约束为 -1、0、+1 三值，再用 FP16 分组缩放系数补偿精度。这套路线 9 月刚在 27B 上证明自己：PrismML 把基于 Qwen3.8-27B 的旗舰版从约 54GB 压到 5.9GB，基准综合分 83.9 对原版 85.4，官方称保留 98.2% 能力。发布后它一度冲上 HuggingFace 趋势榜第一。 10 月这次是把同一技术做小：2B/4B/9B 三款基于通义千问对应尺寸基座，语言权重文件仅 0.43GB、0.95GB、2GB，Apache 2.0 协议开源，同样支持视觉输入和工具调用。哔哩哔哩知乎哔哩哔哩
硬件端恰好接得住：iPhone 18 系列 9 月发布开售，A20 Pro 芯片首次在苹果 SoC 上搭载双 16 核神经引擎，12GB LPDDR5X 内存带宽 115.2GB/s、较上代提升约 50%；9 月下旬已有开发者实测，iPhone 18 Pro 本地跑 27B 级 Bonsai 的速度约为 iPhone 17 Pro 的两倍。端侧推理卡脖子的一直是内存和带宽，而不是算力——这是官方拿 Pro Max 做演示平台的底层原因。据《日经亚洲》报道，Pro Max 起售价 10999 元。微博微博
场景一：离线问答翻译——飞行模式下比阅读速度还快
官方演示 App 已能装进 iPhone 本地跑 9B，小红书上的真机演示显示其在手机上执行对话和代理任务。地铁、飞机、山区信号盲区、国际漫游，这些云端 AI 掉线的地方，本地模型不受影响；不订阅、不排队、不限次。9B 的 34 tok/s 意味着日常问答、翻译、润色的等待感基本消失。手机离线本地模型这个生态位早已被验证过：有开发者做的 iPhone 本地 AI App 明确主打离线运行，“没有联网，完全飞行模式就可以本地运行AI模型，完全免费，支持主流的2b到4b的手机本地大模型”。小红书
场景二：拍图识物——照片不用先传云端
"推理、识图、调用工具"是官方为这一代列出的三项核心能力，小尺寸版本同样强化了视觉理解。拍菜单、拍文档、识别截图里的信息，在 9B 上属于设计目标内的任务。 对普通用户，价值不只是方便：早在 27B 版本流行时，“照片不用传云端"就已经是端侧模型被反复提起的核心卖点。家庭照片、证件、病历这类图片不再需要上传服务器换一次识别，隐私边界从"平台承诺"变成"物理上不联网”。需要提醒的是，官方公开的性能数字集中在语言吞吐，小尺寸模型的识图准确率尚无第三方基准可查，复杂图像推理仍建议交给桌面端 27B 或云端。微博小红书
场景三：端侧代理——从"会聊天"到"替你办事"
随发布放出的官方演示，展示的就是本地模型执行代理任务、调用工具，而非单纯对话。轻量自动化——把一段语音转成待办、按指令整理笔记、触发快捷指令——是当前 9B 真香的部分。但第三方冷水也要摆出来：有搬运评测在同一个智能体环境里对比过 27B 压缩版与全精度版，“短任务得分48.6对47.1基本持平；六个长程构建任务中，全精度版得35/60，压缩版没有做出一个可用的应用”。多步、跨应用的复杂自动化，现阶段还得云端或大杯模型兜底。小红书哔哩哔哩
场景四：随身编码办公——2B 快到能接住灵感
2B 版本 120 tok/s 的意义在于"快到你愿意用它写碎片"：回邮件、改文案、写一段脚本骨架，体感接近系统级输入法。这条产品线的办公能力有桌面端验证打底：27B 版本已被 UP 主做过"Ternary-Bonsai-2-27B编程、办公双场景实测"，官方口径里它"还能看图、写代码、调用工具"。手机上，支持本地模型的 App 已经在用离线 vibe coding 生成小游戏原型。定位要摆正：这是"随身轻办公"，不是"口袋程序员"。小红书
场景五：隐私优先的混合架构——敏感数据留在设备里
官方把这一代明确定位为混合 AI 架构的本地层，可充当"端侧 + 云端混合推理架构里的本地智能层"，让开发者自主管控数据处理位置、控制数据外发，适配隐私优先类应用。对普通用户的收益很直接——聊天记录、健康数据、财务截图可以默认不过服务器。这也是国行用户格外关心的一点：苹果自家 Apple Intelligence 至今没进国行系统，iOS 27.2 测试版仍无苹果 AI；而跑开源端侧模型不受这个约束。微博小红书
"真香"之前，把三个"最高"看清
34 tok/s、120 tok/s 都是官方峰值，长上下文、持续负载和发热降频下会回落；真机演示的评论区里，最先冒出来的担忧就是"耗电扛不起"。 A20 Pro 散热升级能缓解，但改变不了物理规律。小红书
"98.2% 能力保留"是基准综合分口径，不等于任务级体验；有 8GB 显存用户的实测定性相当直白：“8GB显卡硬塞27B三元模型，能跑，但我大概率不会真用”。硬数学、长程智能体这类任务，超低比特模型更容易露怯。知乎
生态还没完全就位：“1-bit（Q1_0）已完整合并进 llama.cpp 主线，所有后端可用。 Ternary（Q2_0/Q2_0_g64）仍处于分批合并中”，部分环境还需使用 PrismML 的定制分支。知乎
现在想上手，权重已上架 HuggingFace 的 prism-ml/bonsai-2-small 集合（Apache 2.0）。接下来值得盯两个信号：官方手机 App 是否正式登陆各区 App Store，以及第三方在 iPhone 上的持续负载实测吞吐。从 7 月"27B 第一次跑进手机"，到今天"9B 比阅读速度还快"，端侧 AI 在 2026 年下半年完成了从演示到日常的惊险一跃——对握着 18 Pro Max 的人来说，这部手机第一次有了云 AI 给不了的用法：免费、离线、隐私。
