有没有经历过这种时刻?下载一个 Qwen 量化模型,文件 4.4GB,加载起来,任务管理器里赫然显示 9GB。等拿它驱动 Agent,内存涨到文件大小的两三倍。别急着骂显卡,也别怀疑官方藏了 bug——吃显存的凶手不是模型,是你的上下文。最近两篇知乎文章撞在同一个结论上:真正撑爆显存的,往往是长上下文,而不是模型本身。上下文窗口开得越大,吃得越凶。知乎知乎

显存是四份拼的,权重只占一半锅
那篇拆解把账摊开了:运行时内存 = 权重 + KV 缓存 + 激活值 + 推理引擎自身开销。模型文件里几乎只有权重;而 KV 缓存——模型为了记住你前面说过什么、边跑边记的小本本——是运行时动态生成的。以 Qwen2.5-7B Q4_K_M 为例:文件约 4.4GB,上下文设到 32K,KV 缓存就再加 4.3GB,凑上激活值和运行时开销,模型文件只有 4.4GB,但实际内存占用约 10.2GB。任务管理器里那 9GB,就是这么来的。Agent 场景更凶:系统提示、工具定义、调用记录全塞进上下文,膨胀得比谁都快。知乎
24GB 显存装不下 27B?最新实测把话说实了
11 月 15 日 StorageReview 在戴尔 Pro Max Micro(RTX PRO 4000 SFF,标称 24GB、可用 23.9GB)上实测:Ministral 3 8B 单请求 52.0 token/s,四请求并发合计 108.9 token/s,一切美好;但评测中的 Qwen3.8 27B 在 Q4_K_M 配置下未能运行,测试方报告其权重与单请求 KV 缓存需 30 GB 可用显存。参数没变大,是上下文把账算到了你头上。知乎

按下下载键之前,先算三个数
权重体积 ≈ 参数量 × 量化位宽 ÷ 8,Q4_K_M 大约 4.5bit/参数;
KV 缓存跟上下文成正比:上下文砍一半,缓存跟着砍一半;
生成速度上限约等于内存带宽 ÷ 每个 token 要读的字节数。知乎
想偷懒也有工具:一个开源 skill 叫 before-you-pull,只读模型 config.json 里几 KB 的信息,就生成一张「装得下表」。它对可用显存的口径相当保守:统一内存的机器默认只算 70% 可用,独立显卡算 92%。样例结论很扎心:24GB 卡跑 8B 稠密模型,128K 上下文光 fp16 KV 缓存就要约 17GB,直接溢出;加个 `–kv q8` 把缓存量化,减半之后 128K 就能塞下。反过来,32GB 统一内存跑 30B MoE,Q5 及以上装不下,Q4_K_M 在 32K 下只剩 0.4GB 余量,但短对话速度上限仍有约 49 tok/s——因为真正活跃的只有 3B 左右参数。知乎

想从上下文嘴里抢显存,就四根杠杆
砍上下文:llama.cpp 用 `-c`,Ollama 用 `num_ctx`,vLLM 用 `–max-model-len`。把上下文从 32K 降到 8K,KV 缓存就从 4.3GB 降到约 1.1GB。知乎
量化 KV 缓存:llama.cpp 的 `–cache-type-k`/`–cache-type-v` 设成 Q8,每元素从 2 字节变 1 字节;
选对架构:GQA 模型的 KV 缓存只有 MHA(多头注意力)模型的 1/4,MoE 模型用小活跃参数跑大模型,都是先天省显存。
把缓存挪去硬盘:B 站的 Ninfer-L3 项目用三级缓存把长上下文算过的内容留在硬盘上,单张 RTX 5090、输入至少 100K token、缓存命中率约 99% 时,可稳定处理 10 个 Agent 请求。不过评论区追问最多的「降不降智」「伤不伤硬盘」,作者还没给出定论,观望别急着上。哔哩哔哩
一句话收尾:显卡先别换,内存条先别加,把你随手开到 128K 的上下文关掉看一眼——撑爆显存的,多半是它。你的本地模型被什么配置坑过?评论区晒晒你的机器和翻车现场。
当前文章无评论,是时候发表评论了