折腾本地大模型的朋友,多半都有过这种体验:下载页明明写着模型只有4GB,程序一跑起来,内存占用却直接翻倍;微博上有人晒同一张3090每秒吐67个token,你的llama.cpp却只有20的龟速。先别急着怀疑电脑中毒,也别急着换引擎——能不能跑、跑多快、跑多长,其实由三笔账决定,按下下载键之前就能算出结论。微博
第一笔:速度账,别只看引擎的参数
llama.cpp升到1.0.0:废弃老接口与参数清空、投机解码接口转正、上下文缓存支持FP8,MoE专家还能常驻内存并由策略管家调度。挑战者Strata走的是另一个路子:把权重拆成三层,显存放常驻计算部分和热点experts,内存放路由experts,SSD放n-gram表,作者自己用12G的RTX 5070跑IQ3_XXS量化也能有65.6 tok/s。但要注意,这些都是单机单场景的社区自测,Strata目前是针对特定模型的深度优化,AMD卡用户还在围观。换完引擎跑一次短文本测试,和理论上限对比:远低于上限说明配置有问题,高于上限说明测错了。哔哩哔哩微博
第二笔:内存账,4GB的文件吃9GB不是Bug
运行时真实占用是四样东西——权重、KV缓存、激活值加上引擎自身的运行时开销,模型文件里几乎只有权重,上下文一长、Agent多轮一调用,占用跟着涨。苹果统一内存机器默认只能按七成可用算,独显大概按九成二算,因为系统和后台应用要留地方。刚开源的智能体skill「before-you-pull」只用模型自带的几KB config.json,就能生成一张「装得下表」:每种量化、每种上下文长度要多少内存、装不装得下、速度上限多少,一目了然。它算的是上限不是承诺,正常配置一般落在上限的50%-85%,装不装得下,下载前就能定。知乎知乎

第三笔:上下文账,撑爆显存的往往是长文本
拿一个计算示例说事:24GB显存跑稠密8B模型,fp16的KV缓存在128K上下文下光缓存就要约17GB,直接溢出;把缓存量化成Q8,缓存减半,同一张卡就能跑满128K。另一半账是prefill速度:有用户实测65-74 tok/s,14,259个token的输入要等220秒;同一份前缀第二次再送却只要0.6-0.7秒,差300倍。缓存前缀,就是长文本最便宜的解法。量化恢复率的报表数字看看就好,拿自己的真实任务跑一遍,才算数。知乎小红书

最后一笔:该不该装
本地党里被顶得最多的一句话:本地模型的意义,是做那些云端模型不给你做的事——代码不想出门、病历不想出门、企业把命脉攥在自己手里。云端派则永远有理由:顶级云端模型越来越强,你的显卡只会贬值。动手前先问自己一句:有没有不能上网的数据。没有的话,这篇可以关掉了,云端完全够用。小红书
