iPhone 18 Pro Max 每秒 120 词元:Ternary Bonsai 2 的“搭”,和苹果其实没关系

源自77位全网作者

10-17 10:42

10 月 15 日,AI 公司 PrismML 发布 Ternary Bonsai 2 系列端侧模型,分 2B、4B、9B 三档,目标是让手机、PC 和可穿戴设备直接跑 AI 智能体。官方给出的实测是,在 iPhone 18 Pro Max 上,2B 模型最高每秒 120 个词元,9B 约每秒 34 个。热榜词条里的"搭"需要先澄清:这不是苹果预装,也不是两家达成合作——它是一个开源权重的第三方模型,iPhone 只是其测速清单里的测试机之一。微博今日头条

三档模型的存储占用官方口径分别约为 0.43GB、0.95GB 和 2GB,比多数手机游戏包还小。这条消息的看点不是"快过云端",而是端侧生成第一次跨过了"可用"的门槛:34 token/s 意味着 9B 在手机上流式输出长文也接近一分钟一页,2B 的 120 对跑轻量智能体已经相当从容。

速度是分档的:120 归 2B,官方图里藏着比标题更多的信息

120 属于最小的 2B。官方吞吐图中 4B 居中,约 61 token/s;原版 16 位的 9B 和 27B 在手机上根本放不下。速度差来自端侧推理的基本盘:生成每个 token 都要完整读取一遍权重,手机内存带宽固定,模型越小越快。三值量化把"小"做到了极限——把语言模型权重压成 {-1, 0, +1} 三个取值,配合 FP16 分组缩放,每个权重的等效位宽不足 2 位。同一档 2B 在 RTX 4090 上能跑到 694 token/s,手机的 120 距离 PC 仍有明显差距,但它跑在你每天揣出门的设备里。微博知乎

省 40% 字,比 120 这个数字更重要

这个系列卖的不是聊天速度,是智能体:理解指令、调用工具、返回结果的多步任务链。官方在 19 项基准上测试了智能工具调用、数学、指令遵循、编程、知识与推理、视觉理解六类能力,其中 9B 在标准指令执行和日常数学任务中所需 token 约减少 40%。这意味着在 34 token/s 的档位上,日常任务的有效等待时间被砍了近一刀——省的是重复输出和答非所问烧掉的字,"避免重复输出"被 PrismML 明确列为系列核心能力之一。今日头条

但 98.2% 的要打个问号:恰恰在智能体场景上晃过

120 和 40% 目前都还是 PrismML 的自家叙事,而它家前辈的实测数据已经画出一条刺眼的分界线:9 月发布、语言模型本体 5.9GB 的 Ternary Bonsai 2 27B 号称保留全精度 98.2% 的能力,官方的口径是 20 项基准平均保留率 98.2%,但据同一位实测作者的记录,长程智能体任务掉到约 75%,SWE-bench Verified 得分 60.8 对比全精度 80.6。对一条以"在手机上跑智能体"为目标的产品线来说,"聚合分贴近原版、智能体任务明显打折"正是新品最该盯的观察点。厂商本身并非草台班子,社区梳理显示 PrismML 是 2025 年底从加州理工研究团队孵化出来的公司,投资方包括 Khosla Ventures、Cerberus 和 Google,三星也在持续支持。知乎

社区对这一系的质疑也基本不在"能不能压",而在测量口径:谁测的、怎么测、每类任务是否都稳。新的 2B/4B/9B 发布不足两天,尚无第三方手机复测。

现在能做什么,接下来盯什么

部署路径是现成的:llama.cpp 可在 NVIDIA 显卡上运行,MLX 可部署到 Mac、iPhone 和 iPad,模型权重以 Apache 2.0 许可证开放。动手能力强的用户已经可以在支持的设备上尝鲜,但"能装上"和"是日常体验"是两回事:连续跑智能体时的发热与电量衰减、长上下文下的真实速度,官方材料均未披露。普通用户盯两个信号就够了:一是手机上出现独立复测,看 120 这个峰值在日常负载下能剩多少;二是苹果或其他厂商的系统级 AI 功能是否引用这类端侧速度——如果两者都出现,"端侧智能体"才算从开发者玩具变成产品功能,热榜上这个"搭"字也才名副其实。今日头条

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章