Qwen3.8-27B 开源十来天，本地部署圈还在忙同一件事：把这个 27B 稠密模型塞进自己的显卡。教程大都差不多——下载量化版、装 llama.cpp 或 LM Studio、启动、开聊。发布一周内，Hugging Face 上点赞破万、月下载量冲到 170 万次以上，社区量化版本刷出了 700 个。知乎
但翻完这两周知乎、小红书、B站的实测，我发现一件事被普遍浪费了：大多数人的上下文设置停留在默认 8K，最多开到 32K。而这个模型规格表上写的是原生 262,144，也就是 262K 上下文。这一波开源最值钱的东西——“第一个能本地跑、又够到前沿水平的开源模型”——正在大多数人的机器里睡大觉。
这篇就把一笔账算清楚：长上下文到底吃多少显存、速度掉多少、值不值得开、你手里的卡能开到多大。数据全部来自本周社区的实测。
262K 不是纸面数字，有人往 19.8 万 token 里藏了密码
先确认能力是真的，不然后面的账没法算。
小红书有位博主在魔改 4090D 48G 上做了三轮"大海捞针"：在 5 万和 19.8 万 token 的文档里藏密码，开头、中间、结尾三个位置全中。加强版更狠：700 句随机日志里埋 16 条带日期的真假密码记录，问"上周五修改后的新密码"，模型把密码全部列出来、按日期推理出正确的一条，还避开了故意埋的陷阱。小红书19.8 万 token，大约是一篇 30 万字文档的体量，或者一个中等规模代码仓库的文字量。
同一时间，Artificial Analysis 的最新测试里，Qwen3.8-27B 在 Intelligence Index 上拿到 52 分，与 GPT-5.6 Luna 的 52 分持平。知乎一个能下载回家的开放权重模型，第一次摸到前沿闭源模型的分数区间，这是"模型斩杀线"讨论的由来。
显存账：模型文件只是第一笔，第二笔是 KV 缓存
本地跑稠密模型，有个大多数人只记一半的公式：显存占用 ≈ 模型文件 + 上下文 KV 缓存 + 运行余量（0.5–1GB）。
第一笔大家熟：BF16 原始权重大约 28B 参数 × 2 字节 = 54GB，16G 显存想都别想。知乎量化之后就完全是另一回事：官方 4-bit 版占盘 17.74GB，Unsloth 的 UD-IQ3_S 权重只有 11.2GB。
第二笔 KV 缓存，是模型"记住"对话上下文的开销，也是长上下文模型传统上翻车的地方——传统架构的缓存随上下文线性膨胀，262K 上下文光缓存就要 67GB，比模型文件本身还大。Qwen3.8-27B 恰好是个例外。它用了混合注意力架构：64 层里，48 层是 Gated DeltaNet（线性注意力），只有 16 层是标准注意力。线性注意力层的 KV 不随上下文增长，摊下来每个 token 的注意力缓存约 256KB：8K 上下文约 2GB，32K 约 8GB。知乎
这个估算能和社区实测交叉验证：16G 卡用 UD-IQ3_S（11.2GB）开 128k 上下文、KV 走 q4_0 量化，总显存占用 14.5GB 左右。小红书单张 3090 装 16.1GB 的 Q4_K_M，上下文开到 230k，显存占用 98%，非常极限。知乎
各档能开多大：三档显卡实测对照
把知乎、小红书、B站这两周的实测归拢一下（速度均为部署后的稳定输出速度）：
显存档位 | 代表卡 | 建议量化 | 上下文能开到 | 实测输出速度 |
|---|---|---|---|---|
16G | 5060 Ti 16G / 5070 Ti / 4060 Ti 16G | UD-IQ3_S（11.2GB） | 96K–128K，总占用约 14.5GB | 40+ tok/s（llama.cpp） |
24G | 3090 / 4090 / 7900 XTX | 官方 4-bit（17.7GB）/ Q4_K_M | 200K–230K | 40–62 tok/s |
48G | 魔改 4090D | Q8_0 | 200K（配 KV q8_0 量化） | 43–47 tok/s（开 MTP） |
三条补充说明，都是这周社区踩出来的。
16G 是这一代的甜区，27B 稠密模型的甜区恰好就是"一张主流游戏卡"这个量级。量化版本的选择上，IQ3_S（12.0GB）被公认是"质量×体积"的最优解；Q4_K_M（16.5GB）在 16G 卡上必须分几层给 CPU offload，而稠密模型每生成一个 token 全部参数都要过一遍，任何一层落在慢速内存里，速度立刻打骨折，所以宁可量化狠一点，也要整个模型塞进显存。知乎
24G 档：AMD 7900 XTX 的用户反馈在 WorkBuddy 里输出速度大概 62tok/s。知乎 A 卡用户直接用 llama.cpp 的 vulkan 版，有人的 9070 用 ROCm 经常卡死，vulkan 非常丝滑。小红书
48G 档记得把 MTP 开关打开：模型内置 1 层 MTP 推测解码层，开启后提速约 50%，代价是多吃 3G 显存。小红书
开了长上下文会不会变慢：解码基本不掉，预填充是另一回事
最反直觉的一点：对话时的吐字速度，几乎不随上下文变长而变慢。3090 Ti 24G 上用官方 4-bit 版（17.74GB）、200K 窗口实测，decode 速度对上下文长度不敏感，10K 上下文只比裸测慢约 10%（62→56 tok/s）。知乎也就是说长对话不会让输出速度断崖式下跌，这对 200K 窗口是好消息。
真正变慢的是预填充，也就是读你扔进去的长文档：48G 卡实测，预填充 2 万 token 的文档约 2200 tok/s（9 秒），5 万约 1500 tok/s，20 万降到约 800 tok/s（4 分钟）。小红书这是注意力复杂度的物理规律，急不来。
还有个隐藏加速项叫前缀缓存：同样 10K 的上下文，首次预填充要 9.3 秒，第二次只要 0.23 秒——LM Studio 把相同 prompt 的 KV 缓存留住了。知乎对应的坑是：请求中途取消会让前缀缓存失效，下次全量重读。小红书所以长文档喂给 agent 之后，别随手按取消。
长上下文到底用来干嘛：三类能用，两类别硬上
社区这周真正跑通的是三类场景。
第一类是整库级编程 agent。单卡 3090 的 230k 上下文，可以直接对接 Coding Agent 用。知乎 B 站有博主在 Mac M4 Max 128GB 上让本地 agent 连续跑了 2 小时 26 分钟，最终生成约 2900 行代码。哔哩哔哩还有人在两张 2080Ti 老卡上跑，小开发项目动辄就跑到 7 万 token 上下文。知乎
第二类是长文档直读，省掉 RAG。前面的大海捞针就是验证：扔一份几十万字文档进去问细节，不用折腾切块、向量化和检索漏检。
第三类是多轮长对话不丢线。Agent 任务链动辄几万 token，上下文开小了，中途丢信息就会干出南辕北辙的事。
两类别硬上。8G 显存别勉强：3-bit 量化能跑，但塞进去的基本只有模型文件，速度个位数，把它当个高级玩具就好；真要干活，直接调 API 更实在，OpenRouter 上 Qwen3.8-27B 的价格已经低到每百万输入 token 0.40–0.45 美元。知乎另外别往上下文里塞垃圾：这模型默认推理强度是 xhigh，难题能烧掉上万思考 token，思考同样吃上下文额度，之前已经有人踩过"思考烧完额度、正文一个字没有"的坑，这篇不展开，记住一句：上下文预算就是显存预算。
行动清单：可以直接抄的设置
16G 卡：去 huggingface 搜 unsloth/Qwen3.8-27B-GGUF，下载 UD-IQ3_S（权重 11.2GB，下载慢就去 modelscope 国内源，速度能跑满）；ctx-size 保守设 96k，128k 也完全没问题；cache-type-k 和 cache-type-v 都设 q4_0；n-gpu-layers 设 999 让模型全部进显存。小红书
24G 卡：官方 4-bit（17.74GB）或 Q4_K_M，ctx 开 128k–200k。知乎3090 用户参考 230k、98% 显存这个天花板，别再往上加了。知乎
48G 卡：Q8_0 量化 + 打开 MTP，再把 KV 缓存量化开到 q8_0——显存减半且实测不掉速，这是 48G 卡塞下 200K 上下文的关键。小红书
所有档位：别让 reasoning_effort 用默认 xhigh 裸奔，第一次上手先把推理强度调到 low，甚至直接关掉推理。知乎
还有两个值得盯的信号：一是这周开源的 Qwen3.8-27B-DFlash2，1.92B 的草稿模型在 SGLang 上单并发吞吐能到自回归的 3.4 倍。知乎二是 llama.cpp 刚更新的 0.2.0 大版本，提速幅度还有待实测，但本地推理引擎这一侧的进化肉眼可见。本地部署这事，硬件只是半笔账，软件侧的红利永远是免费的。
最后一句：Qwen3.8-27B 的显存账，模型文件只是第一笔，第二笔是你想让它记住多少对话。先算再设置，别浪费 262K，也别 OOM。
