10 月 15 日，AI 公司 PrismML 发布 Ternary Bonsai 2 系列模型，包含 2B、4B 和 9B 三种规模，目标是让 AI 智能体在手机、PC 及可穿戴设备上本地执行推理、识图、调用工具。IT之家微博
按官方给出的 iPhone 18 Pro Max 端侧测试，2B 模型最高可达每秒 120 个词元，9B 模型最高为每秒 34 个词元。 三个规模的存储占用分别约为 0.43GB、0.95GB 和 2GB。 热榜标题里的“每秒 120 词元”，是全家能力最弱的 2B 小模型换来的数字；能力最强的 9B 只有约三分之一速度。IT之家微博
120 词元/秒的底层：权重只许写三个数
Ternary Bonsai 2 基于阿里的 Qwen 3.5 基座构建，参数仅用 -1、0、+1 三种数值编码。 与普通“训完再量化”不同，这一路线是在训练期间就把权重约束到三值（QAT），让模型在压缩状态下学会补偿精度损失。 权重旁再配 FP16 分组缩放，每 128 个权重共享一个缩放系数，等效位宽压到约 1.7 比特，且没有高精度后门。IT之家知乎知乎
在这个基础上，官方称新模型相较对应全精度模型，在 RTX 4090 和 M5 Pro 等硬件上可实现最高 5 倍吞吐量和 3 倍能效。 官方还强调 9B 模型在标准指令执行与日常数学任务中所需词元量约减少 40%。IT之家微博
要这速度的是智能体，苹果和高通都已到场
聊天式 AI 单问单答，每秒三四十个词元已接近阅读速度上限；智能体则是“读上下文、调工具、再产出”的连续循环，一次任务可能十几轮生成，速度会被成倍放大。PrismML 把这一系列定义为“本地智能体”用途，强调遵循指令、在移动设备上调用工具、避免重复输出，正是在匹配这类高频负载。IT之家
端侧低比特路线也不是手机单独在走。在 2026 骁龙峰会上，高通与 PrismML 已在骁龙 AR1 Gen 1 智能眼镜平台上，成功本地运行 20 亿参数的 1-bit Bonsai 视觉模型。 官方给出的口径是相同内存容量可容纳约 4 倍参数、文本词元生成速度翻倍；可穿戴设备内存更小、必须离线干活，低比特模型在这里的取舍比手机上更极端。IT之家
苹果的动作则更早。据 The Information 报道，Apple 已与 PrismML 举行会议，探讨如何直接在 iPhone 上运行更大规模的 AI 模型。 按其讨论压缩的 27B 级模型口径，这个参数规模甚至超过苹果设备端自带的 AFM 3 Core Advanced（约 200 亿参数）。微博
今年 7 月，PrismML 首代 Bonsai 27B 已能在 12GB 内存 iPhone 上原生运行，IT之家当时称其为“手机 AI 的 DeepSeek 时刻”。 PrismML 首席执行官巴巴克·哈西比也在 CNBC 采访中透露，苹果等公司正在评估其技术方案。 需要分清的是：截至目前公开信息里，苹果只停留在“评估”，没有宣布在任何 iPhone 中采用 Bonsai 或 Ternary Bonsai 2 模型。IT之家CNMO科技
官方数字和日常体验之间，至少有三道折扣
第一道是“最高”口径。官方在 19 项基准上测试了工具调用、数学、指令遵循、编程、知识与推理、视觉理解六类能力，但对 2B、4B、9B 小系列只公布峰值吞吐，没有给出整体保留率。 此前热传的“保留 98.2%”出自 27B 版本的 20 项基准自测，而长程 agent 任务会掉到约 75%，SWE-bench Verified 得分 60.8、全精度版为 80.6。 本地社区的概括更直接：98.2% 是 benchmark 分保留率，不是行为等价保留率。IT之家知乎知乎
第二道是硬件适配。三值权重 {-1, 0, +1} 没有任何硬件矩阵单元支持，推理时要用通用算力先做软件解包，省的是字节、费的是算术。 社区实测显示，同一张 5090 Laptop 上，换成权重只有 8.3GB 的三值化模型后，8 路聚合吞吐上限约 205 tok/s，而 NVFP4 方案达到 784。知乎哔哩哔哩
但这恰恰是它在端侧的位置：在装不下 FP4、也没有 FP4 硬件路径的设备上，三值的“小”才是决定性的。知乎
第三道是使用门槛。目前需使用 PrismML 自己的 llama.cpp 分支，LM Studio 主线尚不支持三元 kernel；Mac、iPhone 和 iPad 可走 MLX 部署，模型权重以 Apache 2.0 许可证开放，与已有的 Bonsai 2 27B 组成从 2B 到 27B 的完整产品线。知乎IT之家
对普通用户，这次热榜最实在的结论是：想要 120 词元/秒的流畅感，拿到的是只占 0.43GB 的 2B 小模型；想要更接近全功能的本地智能体，9B 的 2GB 和每秒 34 词元才是目前端侧的现实档位。后续值得盯住三件事：小系列独立的长任务实测、苹果会从“评估”走向哪种形式的落地、以及三值推理的社区工具链能否补上官方分支之外的缺口。
