128GB能跑千亿参数？苹果这台笔记本先算笔账

10 月 29 日，苹果发布首款触控 MacBook Pro，14 英寸 22,999 元起，10 月 30 日晚 9 点开始预购。全场最像截图素材的一句是：M5 Max 版最高 128GB 统一内存，本地能跑“数千亿参数”的大语言模型。

这句话不算错，前提条件都藏在括号里。今天不谈触控屏，只算这笔账。

千亿参数，先问几位比特

我第一反应也是“笔记本能跑千亿了”，翻完规格页才发现这里要分两笔账。权重能不能进内存，看的是量化位数：一千亿参数按半精度存大约 200GB，128GB 装不下；压到四比特剩 50GB 左右，就有富余了。

参数再往上到四五千亿，四比特也要 200GB 往上，128GB 不够。所以“数千亿参数”要成立，必须同时满足量化够狠、结构够稀疏，而这两条苹果没在规格页里写，它们属于模型那一侧。同一台机器，300B 的四比特稠密模型当场爆内存，总参数 400B、每次只激活 30B 的 MoE 却跑得相当顺。

最常见的误读，是把“总参数”当成“每次要搬进内存的量”。MoE 的全部专家权重确实躺在机器里，但每生成一个字，真正参与计算的只是其中一小块。

决定快慢的是 614GB/s，不是 128GB

装得下不等于跑得动。每吐一个字，都要把当前参与计算的那部分权重从内存里重读一遍，速度上限基本等于带宽除下来的结果。苹果规格页给 M5 Max 的数是 614GB/s​，比上代 M4 Max 的 546GB/s 高一成左右，这个数字比 128GB 更能解释体验差异。

社区里已经有人拿它当本地工作站：稠密 70B 的四比特模型，出字落在每秒十几到二十几个；35B 总参数、3B 激活的 MoE 用 int4 量化，常驻约 25GB，出字到每秒 130 出头，比正常阅读快五倍。

差别不在算力，在“每生成一个字要读多少权重”。这也解释了苹果为什么反复强调每个 GPU 核心内置神经网络加速器：它主要加速预填充，也就是你贴几千字材料让它先读的那一段，出字阶段照样被带宽按着头。

128GB 不会全给模型

买了 128GB 的机器，打开 LM Studio 加载模型，会发现能用的额度比想象中小。macOS 默认只放行其中大约四分之三给 GPU 常驻，其余留给系统和应用，想多要得手动改 sysctl iogpu.wired_limit_mb。

上下文越长，KV 缓存越大，几十 K 的上下文在 70B 这个量级上动辄再吃十几到几十 GB，具体看层数和头数。真正留给权重与上下文的，大概一百来 GB。权重超过这个额度，框架会往 SSD 换页，能跑，但冷启动和长对话会明显卡。

谁该为这 128GB 多掏钱

位数管装不装得下，带宽管快不快，额度管你能开多长的上下文，三者叠起来才是真实体验。

最实在的一类是材料不能出机器的人：合同、病历、未发布代码，本地跑 35B 级别已经够用。常在没有网络的会场或飞机上干活的人也吃这一套，离线代理能接着跑代码审查和文档整理。做多智能体实验的还能钻容量空子，一个推理模型加一个 8B 网页代理，128GB 放完仍有富余。

两类人可以先等等。要最强的推理能力，35B 到 70B 跟云端前沿仍差一截，复杂多步任务会掉链子；要做高并发批量处理，一台笔记本的出字速度撑不住吞吐。

至于 22,999 元的起价，你换到的是“有些活不必上云”，不是“取代云端”。反过来说，如果你的活本来就能上云，这笔溢价大概用不上。

128GB 是道分水岭，分的是数据能不能出门，不是谁的模型更强。你手上现在有哪件活，是卡在“不能上传”这一步的？

作者提示含AI生成内容。作者声明本文无利益相关，欢迎值友理性交流，和谐讨论～