12GB 内存跑 4000 亿参数!iPhone 17 Pro 这波操作太狠了
3 月 23 日,开发者 @anemll 发布演示视频,展示了在 iPhone 17 Pro 上成功运行 4000 亿参数(Qwen3.5-397B-A17B)的大语言模型。该演示在 Hacker News 引发热议,标志着智能手机本地 AI 推理能力取得新突破。此次运行依托 Apple 的「LLM in a Flash」技术与混合专家架构(MoE),在仅 12GB RAM 的硬件限制下,实现了超大模型的本地推理,实测速度约为 3-4 tokens/秒。
01核心技术原理
此次技术突破主要依靠三项关键技术的协同作用:LLM in a Flash 技术、混合专家架构(MoE)以及量化压缩策略。这些技术共同解决了移动端内存受限与超大模型加载之间的矛盾。
- LLM in a Flash 技术
基于 Apple 2023 年发表的论文,核心思路是将模型参数存储在闪存(SSD)中,按需将权重动态加载到 DRAM。该技术优化了数据传输量与读取连续性,配合 M5 世代 SSD 翻倍的读写速度,使实时加载成为可能。 - 混合专家架构 (MoE)
演示模型 Qwen3.5-397B-A17B 采用 MoE 架构,总参数量 3970 亿,每层包含 512 个专家。但在推理时,每个 token 仅激活 4-10 个专家。这种“用多少取多少”的机制,无需将所有权重同时加载入内存,极大降低了对 RAM 的需求。 - 量化压缩
通过降低数值精度来减少模型体积。专家权重采用 2-4bit 量化,磁盘占用约 209GB,而常驻内存(嵌入表、路由矩阵等)仅需 5.5GB 并保持原精度。此外,引用「KV Prediction」论文优化了预填充阶段。
02实测性能对比
| 设备平台 | 内存容量 | 模型配置 | 推理速度 | 量化精度 |
|---|---|---|---|---|
| iPhone 17 Pro | 12GB RAM | Qwen 397B (MoE) | ~3-4 t/s | 1-2bit 量化 |
| MacBook Pro M3 Max | 48GB RAM | Qwen 397B | 5.5 t/s | 2-4bit 量化 |
| 传统手机方案 | 12GB RAM | ~7B 模型 | 20+ t/s | 4-8bit 量化 |
不同平台运行大模型性能数据对比
数据显示,尽管 iPhone 17 Pro 的内存仅为传统方案的同等水平,但通过技术创新,其承载的模型参数量提升了近 60 倍(从 7B 到 400B)。不过,目前该方案仍存在局限性:2bit 量化会导致工具调用功能受损,4bit 量化下速度会降至 4.36 t/s,且低比特量化对复杂任务输出质量的影响仍需评估。
03行业影响与趋势
行业影响与趋势分析
短期影响 (2026年)
端侧 AI 应用与隐私保护能力的提升
- 更多开发者尝试在移动端部署大模型
- 敏感数据可完全本地处理,强化隐私保护
- 无网络环境下仍可使用高级 AI 功能
长期趋势
硬件架构与模型设计的深度协同进化
- 手机厂商将优化 SSD 带宽和内存架构以适配流式传输
- MoE(混合专家)设计将成为移动端模型首选架构
- 本地 AI 助手、实时翻译、隐私计算等应用场景爆发
iPhone 17 Pro 运行 400B 大模型的演示证明了内存限制可通过智能缓存和流式传输突破,端侧 AI 具备可行性。随着 SSD 速度提升和量化技术成熟,兼顾隐私与性能的“手机上的超级 AI”正逐步从概念走向现实。
当前文章无评论,是时候发表评论了