过去一周，本地模型圈最热闹的事，就是8月14日开源的Qwen3.8-27B。知乎270亿参数、原生视觉语言模型、Apache-2.0协议，发布5天Hugging Face下载量就冲过66万；知乎"如何评价阿里开源的Qwen3.8-27B"一个问题几天攒了150多万浏览，高赞回答直接喊出"本地Opus"。知乎对习惯了在LM Studio里点点鼠标就换模型玩的人来说，这大概是今年上半年最值得下载的一个17GB文件。
但首周口碑有个很有意思的分裂：一边是"单卡跑出Opus效果"的兴奋，另一边是第一批尝鲜帖的困惑——有人3090 24G跑Q5_K_M只有36 tok/s，吐槽"升级3.8还更慢了，我3.6能跑45"。小红书有人4090D 48G第一次打开LM Studio，只留下一句"感觉不如llamacpp"。同一个模型、同一批硬件，体验差距为什么这么大？我把知乎、小红书、B站和海外博客这周的一手实测翻了个遍，结论是：大部分账不能算在显卡头上，要算在两个默认设置头上。
一、你感觉到的"慢"，多半不是GPU的锅
Qwen3.8这一代默认把推理强度设在xhigh——翻译成大白话：它默认开启思考，而且思考得非常起劲。Datasette创始人Simon Willison拿到模型后在LM Studio里做了个测试：用128GB统一内存的机器加载同一个17GB的Q4_K_M量化版，让模型画一张"鹈鹕骑自行车"的SVG。默认设置下，这张图画了21分钟，其中22276个token全花在思考上。Simon Willison博客把推理关掉重跑同一条提示词，137秒出图，同一台机器、同一个文件，体验完全是两个世界。知乎
更说明问题的是他随手给的第二个任务：“画一个圆的SVG”。模型拿到任务后的思考轨迹，是认真研究配色方案、同心辅助圆、缓慢旋转动画，甚至纠结要不要兼容prefers-reduced-motion——一个圆，被当成一件"圆形研究"作品来做。知乎这还不是个别现象：LM Studio默认上下文只有8192 token，xhigh模式下连最简单的问题都能把思考token塞满这个上限，界面表现就是一直在"想"、不出字，Simon最后是直接把上下文拉到262144才让模型喘上气。Simon Willison博客
所以这周社区里"3.8比3.6慢"的吐槽，更准确的表述是：它在你看不见思考过程的地方花了大量时间。知乎那篇热转的实测文章标题说得很直白——“很好但别用默认设置”。把推理强度调到low或off、上下文从8192调大，同一块卡上的Qwen3.8-27B立刻换一副面孔：3090 24G跑lmstudio-community的Q4_K_M，llama.cpp server实测decode约40 tok/s、prefill约1000 tok/s，230k上下文把24G显存吃到98%，属于"能跑满但别贪"的状态。知乎
不过也别走到另一个极端：全关推理不是免费午餐。Simon的对照实验里，关掉推理后模型一次没写对边界框可视化工具，多追问几轮才修好。知乎思考token烧的是时间，换的是复杂任务的一次成功率。
二、什么卡跑什么文件：硬件×量化对照
先说文件大小，这是选量化的硬约束。Unsloth和lmstudio-community两家的GGUF我都核过：Q3_K_M约13.8GB，Q4_K_M约16.8-17.1GB，Q5_K_M约19.8GB，Q6_K约22.4-22.9GB，Q8_0约29GB；要用视觉功能还得再带一个0.93GB的mmproj视觉投影文件。
按显存分档：
16GB档（4080、4070 Ti Super等）：Q4_K_M装不满，硬塞只能Q3或部分层丢给内存，速度断崖。这个档位我的建议很直接——别死磕27B，Gemma 4 12B或更小的Qwen才是舒服区。
24GB档（3090、4090、7900 XTX）：Q4_K_M是甜点，模型16.8GB进去还剩几GB给KV cache，长上下文别贪，32k-64k日常足够；Q5_K_M能装下但余量很紧，适合短对话不适合长文。这档也是这周实测样本最多的一档：3090跑Q4约40 tok/s，跑Q5约36 tok/s，AMD 7900 XTX有社区反馈约62 tok/s。知乎
32-48GB档（5090 32G、4090D 48G、A6000）：32G可以上Q5/Q6；48G是稠密27B的最舒服档位，Q8_0加满血上下文都装得下。小红书上4090D 48G的首测日志decode在30 tok/s上下，和3.6时代70-80 tok/s的落差，同样主要是思考token吃掉的，不是卡变慢了。小红书
Mac统一内存档：32GB能跑Q4级别的MLX 4bit，64GB以上是舒适区。苹果党这周的结论也很一致：啥招都用上，勉强追上N卡随手一跑的速度，胜在内存大、能开长上下文。
128GB档（DGX Spark、M5 Max满配）：什么量化都装得下，但带宽决定速度，Simon那台137秒出3715个token大概就是这档的水平——适合"必须本地跑"的场景，不适合追速度。
三、开跑之前，记住三件事
第一，推理强度先调low或off，复杂任务再开回来。Qwen3.8官方支持reasoning_effort参数，日常问答、写代码、整理文档用low甚至off，体验立刻从"21分钟"回到"两分钟"；真要让它做规划、做复杂推理，再把强度开高，社区实测派的原话是"第一次用先把推理强度调到low，甚至直接关闭推理"。知乎
第二，上下文别用默认8192。thinking模型时代，8192连思考都装不下。按你的显存余量设32k起步，Mac大内存党可以直接拉满。
第三，格式一句话：Windows加N卡/AMD卡选GGUF（lmstudio-community或Unsloth版本都行），Apple Silicon选MLX。B站这周的保姆级教程也是同一个结论，没什么好纠结的。哔哩哔哩
四、LM Studio还是llama.cpp？现在入还是再等等
这周"LM Studio感觉不如llamacpp"的说法传得挺广，但对照实测并不支持：同一块4090D上，LM Studio和llama.cpp跑同一个量化的速度基本一致。小红书LM Studio的推理引擎本来就是llama.cpp，0.4.19之后还把Engine Protocol转正成默认开启。LM Studio官网两者的差别在使用形态：LM Studio是带模型库的GUI，鼠标点选量化、开server接OpenAI兼容API，对不想碰命令行的人就是最短路径；llama.cpp server和Ollama更适合服务化、脚本化场景。LM Studio还带了lms命令行和llmster无头守护进程，想把本地模型接进Coding Agent工作流，两条路都通。
那现在是入的好时机吗？社区实测派的建议是"可稍晚入手"，等的信号有三个：llama.cpp对Qwen3.8 MTP投机解码的支持铺开、更多打磨过的量化版本放出、以及各家前端对reasoning_effort的默认值调教。但有三类人不用等：想玩视觉的——这代边界框识别一次就框准两只鹈鹕，离线看图全程不出电脑。知乎想把本地模型接进Coding Agent的——Simon用Pi agent连LM Studio跑完整工具调用循环，反馈"相当不错"。Simon Willison博客以及就是想在周末把新玩具装进电脑的人，毕竟17GB的下载，本身就是一半的乐趣。
顺带一提，LM Studio自己这周也没闲着：7月16日刚发布了独立的Agent新应用Bionic，8月10日加上了简体中文界面，可以用本地模型做代码和文档项目，本地功能免费。LM Studio官网争议点是闭源，介意的话，继续用经典桌面版就好——0.4.21版本对Qwen3.8的支持已经跟上。LM Studio官网而它对个人和办公使用，从去年7月起就是免费的。LM Studio官网
写在最后
三句话总结这周的首测共识：装完先改两个设置——推理强度调低、上下文调大，体验立刻换一个模型；24G卡选Q4_K_M、48G卡上Q8、Mac选MLX，别拿默认设置跨版本比速度；MTP和新量化还在路上，追速度可以再等两周，玩视觉和Agent现在就是好时候。
