触屏MacBook Pro来了,本地跑大模型到底要配多大内存?
苹果发布会刷屏的是触屏,但对本地推理圈来说,真正的重磅只有一句:最高128GB统一内存的M5 Max,能把"数千亿参数"的大模型装进笔记本。这话听着提气,但"跑不动"和"跑得好"中间隔着三道账,掏钱前得一笔笔算清楚。IT之家微博

第一笔:容量账——"数千亿"是有前提的
本地跑模型没有"边下边跑"这回事,模型文件得整个塞进内存,还要给上下文缓存留地方。社区常用的参照:Llama 3.1 70B的4-bit量化版,光文件就约39.7GB。64GB内存勉强装得下,但一边拉长上下文、一边开着IDE和其他工具,就开始捉襟见肘。知乎

再往上,千亿级参数模型重度量化后逼近百GB量级,这就是128GB存在的意义。所以苹果那句"数千亿参数",准确读法是:装得下,不代表跑得舒展。
第二笔:带宽账——出字快慢不全看核数
本地推理是反复读取模型权重的活儿,内存带宽直接决定token速度。128GB只给40核GPU的M5 Max这一档,规格表里三档很清楚:40核版614GB/s,32核版460GB/s,M5 Pro只有307GB/s。带宽腰斩,速度基本跟着腰斩——为了触屏和屏幕加价,不如先把这一档选对。知乎
好消息是Mac的软件生态最近刚补了一课:Hugging Face 10月下旬发了博客,PyTorch重写了苹果芯片的MPS底层加速,还原生支持FP8、模型体积近乎减半,实测M3 Ultra上35B级千问从9.4 token/s直接干到61.3 token/s。系统升级到macOS 15+,下载模型就能离线开聊、接本地API,苹果公告里点名举例的本地推理软件就是LM Studio。小红书微博
第三笔:价格账——评论区满屏"太贵了"
国行新款22999元起,16英寸也要27999元起。M5 Max档36999元起,内存拉满128GB、硬盘怼到16TB的顶配直接逼近12万。评论区的反应很真实:“太贵了”“价格吃不消”。微博微博微博

那谁该为这128GB买单?三类人:常处理没公开的代码、合同、文档,要求数据绝不出机器的;断网环境需要随时可用的模型的;拿本地模型做开发调试、不想给API按token计费的。反过来,只跑7B~14B日常玩一玩的,入门配置加64GB内存就够用,没必要为发布会话术冲顶配。
触屏是给所有人的,128GB只是给少数人的。这台机器本地AI的入场券从来不是那块触屏,而是内存容量×带宽×预算这道乘积题——先想清楚你要跑的模型多大,再决定钱花在哪个档位。好消息是节奏不催命:10月30日上午9点开启预购,11月6日才正式发售。知乎