一、推理和微调是两笔账
Qwen3.8-27B 这周的热度主要集中在"怎么跑起来"：单卡 16GB 可部署、原生 262K 上下文、智能体基准分数亮眼。但对真正要用模型的人来说，有个更实际的问题几乎没人认真算过——我想自己微调它，手里的显卡到底够不够？
这款模型 8 月 14 日由阿里通义千问正式开源，270 亿参数、稠密架构，在多项智能体基准上追平甚至超越闭源旗舰 Opus 4.6 Max，采用 Apache 2.0 协议。知乎协议允许商用，所以"自己微调一个专属版本"不是空想。但先泼一盆冷水：推理和微调是两笔完全不同的账。
推理只要装下权重和 KV cache，4-bit 量化后的 27B 连内存带显存 17GB 左右就能跑。
微调除了权重，还要装梯度、优化器状态和激活值，显存需求按倍数往上翻。
一句话：推理看"权重 × 每参数字节数"，微调还得再加码，两者差着好几倍。
二、三笔账：全参、LoRA、QLoRA
先立基准：Qwen3.8-27B 的 BF16 原始权重是 54.7GB，量化方案作者 Unsloth 称它是同尺寸最强模型。知乎以它为底，三条微调路线的账如下。
全参微调：270 亿参数的权重、梯度、优化器状态全在显存里，混合精度下约 16 字节/参数，27B × 16 ≈ 432GB，再加上激活值和 KV cache，这周 B 站有 UP 主翻译的 Cloud Codes 算账视频给出约 486GB。哔哩哔哩这是 8 卡 H100 级别的设备，和消费级显卡无关。
LoRA：冻结主体只训练低秩适配器，但冻结的 27B 主体仍要完整加载。BF16 主体 54.7GB 加上 LoRA 的优化器状态和激活值，估算总显存 60—75GB；主体若用 4-bit 量化加载，可压到 40GB 上下。这是按通用公式估的数，实测随 batch 和序列长度浮动。
QLoRA：主体直接以 NF4 量化加载（约 0.5 字节/参数，27B 主体约 14GB），适配器用 BF16 计算。同一个算账视频给出的 27B QLoRA 最低门槛是 22GB。也就是说，一张 24GB 消费级显卡把 batch 和序列压一压就能起步，这是普通人真正够得着的路线。
异构 offload：门槛还能更低。KTransformers 联合 LLaMA-Factory 已经支持 LoRA 微调，Kimi K2 这种 1T 级 MoE 只需 90G 左右的显存即可，2—4 张消费级 4090 本地就能跑。微博作为对照，传统 LoRA 方案对 Kimi K2 这种模型的理论显存需求是 2000GB——门槛一下被打掉了 20 多倍。
把 27B 塞进消费级显存，前提是量化，而量化不是无损的，做得好不好有技术含量。Unsloth 最新的 Dynamic V3 量化，官方对比是同样文件大小下 Top-1% 准确率比其他方案高 10% 以上。知乎
三、多尺寸对照表：7B 到 70B 各要多少显存
不只有 27B，把主流开源尺寸一起算出来（量级估算，实测随框架、序列长度、batch 浮动）：
模型尺寸 | BF16 权重 | 全参微调 | LoRA（BF16 主体） | QLoRA（NF4 主体） |
|---|---|---|---|---|
7B | 约 14GB | 约 112GB | 约 20—24GB | 约 8—12GB |
14B | 约 28GB | 约 224GB | 约 35—40GB | 约 14—18GB |
27B | 约 54GB | 约 432GB（算账约 486GB） | 约 60—75GB | 约 22GB |
32B | 约 64GB | 约 512GB | 约 70—85GB | 约 24—28GB |
70B | 约 140GB | 约 1.1TB | 约 165—180GB | 约 50—60GB |
几个直接能用的结论：
24GB 卡（4090 这一档）：QLoRA 路线可以训 27B 及以下，是性价比最高的起点。
48GB 卡或双卡：LoRA 训 27B 从容，QLoRA 可以摸到 70B。
全参微调的门槛从 8×80GB 数据中心卡起步，个人用户基本不用考虑。
四、租卡还是买卡
算清显存只是第一步，钱怎么花是第二步。
只是跑通验证想法：云平台按小时租卡。QLoRA 训 27B 一张 24GB 卡就够，一次小实验的成本是几十元级别，没必要先买硬件。
每周都要训：考虑收一张 24GB 卡长期自用；经常碰 32B、70B 就看 48GB 或多卡方案。
全参微调或超长序列：直接租集群，买卡回本周期太长。另外注意一个成本变量：去年开始的存储涨价潮到现在没停，显卡和内存的整机成本都在高位，现在买卡未必比长租划算。
Mac 路线值得单独说。统一内存的卖点让很多人想拿 MacBook 干训练，确实有人实测了 M5 Pro、48GB 的 MacBook Pro 跑 Qwen3.8-27B：能跑，但在约 32K context 下，最快的方案也要等 96.79 秒才开始生成第一个 token。知乎推理尚且如此，微调对带宽和持续负载的要求更高。Mac 适合拿来玩小模型实验，不适合当微调主力机。
五、三个比显存更容易踩的坑
显存账算完，真正的坑在后面。
LoRA 学的是"技能"，不是"知识"。低秩适配适合注入回答风格、任务格式和领域套路；想灌入大量新事实，RAG 或继续预训练通常更合适。硬把知识微调进模型，更新难、溯源也难。
数据质量决定上限。NVIDIA 联合 Unsloth 发布的微调入门指南里说得很直白：真正的瓶颈往往不在于显存大小或算法选择，而在于数据的质量，在垃圾数据上进行 LoRA 微调，最终只会得到昂贵的垃圾。微博社区里的老手结论一致：数据工程——怎么定义任务边界、怎么构造高质量 SFT 数据、怎么做去重和难例挖掘——往往占整个项目七成工作量。知乎
不备评测集等于白训。动手前先准备 50—100 条能自动测的题，loss 降了别急着高兴，先跑评测集。否则微调出来的不是模型，是心理安慰。
SFT 到底改变了什么？不是往模型里灌知识，而是收窄特定上下文里的输出分布——base 模型的概率像摊开的手掌、五指张开，指令微调后则像握紧的拳头，力量集中在一个方向。知乎所以每条数据的风格和正确性，都直接决定分布被推向哪个方向，这也是为什么过来人都说真正的活儿在数据上。
六、值得继续盯的信号
Qwen3.8 家族还会更新：27B 是稠密 VLM，后续如果放出更小尺寸或 MoE 变体，这笔显存账要重算。
NVFP4 生态在补齐：Unsloth 的 NVFP4 量化在 Blackwell GPU 上比 BF16 快约 1.5 倍，目前 vLLM 支持、SGLang 暂不支持。知乎推理侧的量化生态一旦成熟，训练侧的适配也会跟着来。
异构 offload 是最大变量：KTransformers 这类路线如果再成熟一步，百亿级模型微调的门槛会被进一步拉到消费级多卡，"微调高不可攀"的旧经验很快就会过时。
最后一句话总结：24GB 能起步 QLoRA 训 27B，48GB 从容，全参留给数据中心。先算账，再决定钱花在哪。
