10月15日至16日，由加州理工团队创立的美国初创公司 PrismML 发布了 Ternary Bonsai 2 系列的 2B、4B、9B 三款新模型，三款语言模型权重文件分别只有 0.43GB、0.95GB 和 2GB。 官方同时给出的端侧性能数据把 iPhone 18 Pro Max 推到了台前：这台手机本地运行 9B 模型吞吐最高可达每秒 34 个 token，2B 版本最高可达每秒 120 个。一个具备视觉理解和工具调用能力、权重仅约 2GB 的大模型，第一次以可用速度跑在手机上。 但"首发"二字需要先厘清事实：这是 PrismML 将 iPhone 18 Pro Max 作为本代模型官方端侧性能数据的测试机型、并向开发者开放了本地运行路径，并非苹果官宣预装 Bonsai 2；苹果与 PrismML 的关系，目前仍停留在今年 7 月媒体披露的接洽评估层面。 厘清这一点之后，它为什么仍然重要、哪些改变已经真实发生，才是这个热点值得展开的部分。小红书微博36氪
54GB 的大模型是怎么塞进手机的
PrismML 的路线是"三值量化"：把基座模型的权重从传统 16 位浮点钝化到 −1、0、+1 三个值，靠分组缩放系数保住数值范围，压缩不改变模型架构、只改变权重表示。今年 9 月 17 日发布的 Ternary Bonsai 2 27B 是这套方法的旗舰版：基于阿里开源的通义千问构建，FP16 原版约 54GB 被压到 5.93GB、缩小约九分之一，官方口径在 20 项基准上平均 83.9 分、保留全精度 98.2% 的能力，还支持 262K 上下文和图像输入。 压得小只是前提，跑得快靠的是另一半工程：PrismML 为 Apple Silicon 和 CUDA 写了专用推理内核，运行时直接读取压缩格式、不还原成 FP16，省下的内存带宽才是端侧速度的真正来源。 手机这边，9 月 10 日亮相的 iPhone 18 Pro Max 恰好站在窗口上：它搭载的 A20 Pro 来自台积电 N2 工艺，外界最关注的就是这颗芯片的能耗表现。 端侧这一步换来的未必是更快——9B 是三值多模态模型、能力档位远高于以往的手机端侧模型，34 token/s 的单流速度只能算"够用"——真正的变化是能力终于够用了。知乎36氪知乎
本地模型开始接管"日常层"
PrismML 把这代模型的定位说得很直白：把实用的智能体能力落到 PC、手机、可穿戴设备的本地应用，而不是云端演示。 由此解锁的是一个新系统架构：非极限和隐私敏感型任务路由给本地模型，最难的步骤留给云端前沿模型。 官方还给出了效率细节：9B 在常规指令跟随与日常数学任务上少用约 40% 的 token，端侧的等待时间和发热被同步压低。微博36氪微博
苹果的国行动作让这条链路的含义更具体。10 月 15 日，苹果董事会执行主席库克在上海确认，Apple 智能及接入的阿里千问大模型已获批准，将在 10 月晚些时候发布测试版，首批功能包括实时翻译、书写工具和照片清除。 也就是说，"端侧算力 + 中国开源底座"成为第一个跑通监管路径的国行组合；而 Bonsai 2 全系恰恰基于千问训练——同一个中国开源底座，正以原生集成与第三方压缩两条通道进入 iPhone 的端侧版图。 对硬件厂商而言，竞争的标尺也在改写：PrismML 提出用"智能密度"衡量模型单位部署体积能提供多少能力，27B 级能力装进 2 到 6GB 存储成了现成选项。界面新闻知乎36氪
生态扩散靠的是开放许可：权重全部以 Apache 2.0 发布，llama.cpp 支持英伟达显卡、MLX 原生支持苹果设备。 移植速度也在加快，开发者 9 月底就把 27B 版本搬进 vLLM，单卡 32 路并发聚合吞吐已破千。 其他硬件形态同样在照搬：今年骁龙峰会上，高通已在骁龙 AR1 Gen 1 智能眼镜平台本地跑通了 20 亿参数的 1-bit Bonsai 视觉模型。小红书知乎微博
泡沫还没被戳破的部分
社区实测泼着冷水。有测试者把 27B 塞进 8GB 显卡的笔记本，给出的结论是"能跑，但我大概率不会真用"。 多位用户的复测结论类似：单轮问答与摘要能力保留得不错，多轮智能体任务损失明显。 官方自己的长程评测也承认差距：27B 在 Terminal-Bench 2.1 与 SWE-bench Verified 上的得分约为全精度基线的四分之三。 而且模型文件不等于运行占用——2GB 权重之外，视觉投影和长上下文缓存还要额外吃内存，再叠加手机的散热与功耗墙，持续负载下的实际体验会低于峰值数字。知乎小红书知乎
监管与合规通道在同步开闸：7 月 15 日，苹果智能、华为小艺等七款端侧生成式 AI 服务已在网信部门完成备案。 但合作本身并非板上钉钉：8 月，苹果中国官网曾短暂出现"Apple 智能配合千问"的支持文档，随即被删除撤下。 技术已经就位，真正的分水岭是苹果是否把系统级推理入口正式开放给三值模型阵营——而系统级的时间表也已浮出水面：据彭博社报道，苹果计划今年 12 月通过 iOS 27.3 更新在中国大陆正式上线 Apple Intelligence。36氪界面新闻微博
对普通用户来说，"手机里常驻一个 27B 级大脑"是否成真，最近的时间表是 10 月底的国行 Apple Intelligence 测试版；更远一点的信号，是下一批手机的内存规格和端侧 API 会不会围绕智能密度重新定义。模型已经塞得进手机，手机系统愿不愿意为它腾出位置，才是端侧 AI 生态的下半场。
