黑圈子里前几天有人把总参数763B、权重511GB的DeepSeek-V4.1-Flash塞进一台64GiB的Mac,晒出了预填充约3,400 tok/s、生成50 tok/s的实测。同一时间,一条"12GB显卡就能跑"教程的评论区,装完的人在哀嚎:实际输出只有6~8 tok/s,还得再配64GB内存和250GB固态硬盘。知乎哔哩哔哩

同样叫本地部署,一个像开挂,一个像买了假机器。差距不靠运气,靠三个数。
第一个数:内存决定装不装得下,激活参数决定每个字读多少。
V4.1-Flash总共763B参数,但每吐一个字只激活8B~16B;GLM-5.3-Flash总参321B,每字读取约10GB。记住这个分工:总参数管知识,激活参数管一个字的工作量。MoE是消费级硬件唯一的活路。社区里16G级显卡跑26B、35B的MoE实测约30 tok/s,开MTP轻松40+。模型可以很大,每个字可以很小。知乎知乎知乎
第二个数:带宽决定吐字多快。
模型每出一个字,都要把激活权重从内存完整读一遍,所以吐字上限≈带宽÷每字读取量。M5 Ultra官方内存带宽1.2TB/s,每字读10GB就推出约120 tok/s的理论天花板;社区实测里64核和80核的机器吐字速度基本没差,因为decode卡在带宽上,不卡在算力上。你那边风扇狂转、字却像挤牙膏,先看带宽够不够,别急着换显卡。知乎
第三个数:算力决定你等多久。
读你的上下文(prefill)是计算型任务。MacStories实测M5 Ultra读上下文是上代M3 Ultra的2.5倍,256K长文的首字等待从246秒压到102秒;同样是吐字不变,64核的128K首字等待要从57.5秒拉长到约70秒。跑agent的场景,八成时间花在"让它读材料",不是"等它打字"——agent每轮都要重新喂一遍工具结果和历史,这部分钱花在算力上最值。知乎

装好模型也别急着比人:同一台核显笔记本,有人实测Ollama和llama.cpp的生成速度能差出2倍。Mac连着跑多轮推理还会撞上另一堵墙——温度,有用户的机器"一上来推理速度就跳水",加装散热才稳住。同一套硬件,软件栈和散热也是速度的一部分。知乎

回头拆那个511GB奇迹:稠密模型时代直接从SSD读权重,每吐一个字都要重读几十GB,只有凄惨的0.5 tok/s。MoE把每个字的工作量砍到几GB,SSD流式加载才成立。所以"64G跑50 tok/s"的本质是公式里的分子变小了,不是64G内存能被调出无限大。两句冷水也别省:那台机器是最新款M5 Ultra,不是你手上64G的旧笔记本;基准页144 tok/s的成色是"零缓存+短窗口+投机解码"的突发值,长上下文关掉投机解码,实际20~33。知乎知乎

买跑分前先问三件事:单流还是聚合?量化到什么bit?缓存命不命中。也别小看调优——一位16GB内存Mac mini用户关掉一个默认思考开关,单轮响应从12秒变1.3秒。oMLX让丐版Mac mini提速十倍(1982赞热帖)。内存可以卸载、权重可以量化、跑分可以包装,只有带宽和算力两道天花板,下单那一刻就定死了。小红书小红书
当前文章无评论,是时候发表评论了