什么值得买App下载 App ›
连续签到专享现金活动

12GB 内存跑 4000 亿参数!iPhone 17 Pro 这波操作太狠了

3 月 23 日,开发者 @anemll 发布演示视频,展示了在 iPhone 17 Pro 上成功运行 4000 亿参数(Qwen3.5-397B-A17B)的大语言模型。该演示在 Hacker News 引发热议,标志着智能手机本地 AI 推理能力取得新突破。此次运行依托 Apple 的「LLM in a Flash」技术与混合专家架构(MoE),在仅 12GB RAM 的硬件限制下,实现了超大模型的本地推理,实测速度约为 3-4 tokens/秒。
01核心技术原理
此次技术突破主要依靠三项关键技术的协同作用:LLM in a Flash 技术、混合专家架构(MoE)以及量化压缩策略。这些技术共同解决了移动端内存受限与超大模型加载之间的矛盾。
  1. LLM in a Flash 技术
    基于 Apple 2023 年发表的论文,核心思路是将模型参数存储在闪存(SSD)中,按需将权重动态加载到 DRAM。该技术优化了数据传输量与读取连续性,配合 M5 世代 SSD 翻倍的读写速度,使实时加载成为可能。
  2. 混合专家架构 (MoE)
    演示模型 Qwen3.5-397B-A17B 采用 MoE 架构,总参数量 3970 亿,每层包含 512 个专家。但在推理时,每个 token 仅激活 4-10 个专家。这种“用多少取多少”的机制,无需将所有权重同时加载入内存,极大降低了对 RAM 的需求。
  3. 量化压缩
    通过降低数值精度来减少模型体积。专家权重采用 2-4bit 量化,磁盘占用约 209GB,而常驻内存(嵌入表、路由矩阵等)仅需 5.5GB 并保持原精度。此外,引用「KV Prediction」论文优化了预填充阶段。
02实测性能对比
设备平台内存容量模型配置推理速度量化精度
iPhone 17 Pro12GB RAMQwen 397B (MoE)~3-4 t/s1-2bit 量化
MacBook Pro M3 Max48GB RAMQwen 397B5.5 t/s2-4bit 量化
传统手机方案12GB RAM~7B 模型20+ t/s4-8bit 量化

不同平台运行大模型性能数据对比

数据显示,尽管 iPhone 17 Pro 的内存仅为传统方案的同等水平,但通过技术创新,其承载的模型参数量提升了近 60 倍(从 7B 到 400B)。不过,目前该方案仍存在局限性:2bit 量化会导致工具调用功能受损,4bit 量化下速度会降至 4.36 t/s,且低比特量化对复杂任务输出质量的影响仍需评估。
03行业影响与趋势

行业影响与趋势分析

短期影响 (2026年)

端侧 AI 应用与隐私保护能力的提升

  • 更多开发者尝试在移动端部署大模型
  • 敏感数据可完全本地处理,强化隐私保护
  • 无网络环境下仍可使用高级 AI 功能
长期趋势

硬件架构与模型设计的深度协同进化

  • 手机厂商将优化 SSD 带宽和内存架构以适配流式传输
  • MoE(混合专家)设计将成为移动端模型首选架构
  • 本地 AI 助手、实时翻译、隐私计算等应用场景爆发
iPhone 17 Pro 运行 400B 大模型的演示证明了内存限制可通过智能缓存和流式传输突破,端侧 AI 具备可行性。随着 SSD 速度提升和量化技术成熟,兼顾隐私与性能的“手机上的超级 AI”正逐步从概念走向现实。

评论

评论区空态插画

当前文章无评论,是时候发表评论了