本地跑大模型，显存到底要多少？先算清吃显存的三件事
“我这台电脑能跑多大模型？” 最近一周被问爆。很多答案找错了方向：能不能跑，看的不是参数，是显存。真实占用分三块：权重、KV cache、框架开销。小红书知乎
一、显存账单，对号入座
双 3090 老用户那张被转疯的对照表，按行自查（权重=参数量×精度）：
7-8B FP16 ≈ 16G：单卡起步，日常够用；
14B FP16 ≈ 28G：两张卡刚好，批处理一开就爆；
32B 4bit ≈ 20G：单卡塞得下，性价比最高的一档；
70B 4bit ≈ 40G：塞得进去，但慢到你放弃。
外加铁律：至少留 20% 余量，比型号推荐重要。
二、最容易漏算的：KV cache
本周 B 站最火实测是双 5060 Ti 16G 跑 Qwen3.8 27B（播放 7.4 万），评论区最扎心：“我同样的模型单卡跑，长文本到八千 token 就开始爆显存了”。有人把 27B 塞进 16G 显存的 5070 Ti 开 256K 上下文，显存占用 14.5/16 GiB，只剩 1.8G。预算按"模型+上下文"算。哔哩哔哩知乎
三、别被"能跑"骗了
外网疯传实测：12G 显存的 RTX 3060 硬生生跑起了 510GB 权重的 DeepSeek V4.1 Flash。靠极限量化加卸载摊进内存和硬盘。哔哩哔哩
代价也直白：所谓 2-bit 文件实际一半是 1.75-bit，卡丁车盲测云端 10/12、本地版只拿 2/12。哔哩哔哩
速度也别只信演示：Strata 路线有独立实测仅 1.84 tokens/s。哔哩哔哩
Promethevs 路线更苛刻：仅限 Windows、1.1TB SSD，第一个词等 2 分钟。技术上"跑起来了"，质量另说。哔哩哔哩
四、到底怎么选
16G 以内：8B FP16 或 14B 4bit，文案总结够用；
24G 级：32B 4bit，甜点位；
要 27B+256K：加一张卡走张量并行，双 5060 Ti 16G 已被验证；
显存不够想入门：LFM3 这类 2B 小模型，1G 显存也能先转起来。哔哩哔哩
开长上下文前：先把显示器从独显拔下来，Windows 桌面会白吃约 2G 显存。知乎
不想攒塔式：锐龙 AI Max+ 495 配 192GB 统一内存的迷你主机，用户实测"本地跑Llama3速度真的追得上RTX4090"。小红书
最后一笔账，评论区质问很现实：“云上跑一小时才几块钱，自己搭要跑多少小时回本”。单论省钱多半回不了本；本地的价值是隐私、随叫随到和不用审批的自由：两万字合同反复找矛盾，反正电是自己的。哔哩哔哩小红书
显存决定你能跑多大，用途决定该不该跑。 先问干什么，再看显卡——顺序反了就是交学费。
