8月25日，B站一条单卡5090本地部署满血DeepSeek V4 Flash的教程视频火了：号称仅需32G显存+248G内存，即可本地部署满血版DeepSeek-V4-Flash，几天冲到1.7万播放、553收藏。哔哩哔哩
评论区两拨人几乎在互相质问：一边有人认真发问"4090和1.5T内存能行吗"，一边有人泼冷水：有点搞笑了，有这功夫为啥不直接Qwen3.8 27B一把梭呢？Q4_K_M 能到 300TPS，4路并发。哔哩哔哩两拨人都没说错——他们说的是两种硬件、两类模型。
撑起这波教程的，是刚在8月中旬正式开源的推理引擎FreeToken：MIT韩松参与提出的《Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution》正式开源，社区8月20日首次关注时GitHub还只有76 Stars，8月26日已经冲到8.4k+。知乎这波到底值不值得跟？把近两周B站、知乎、小红书二十来组带反证的实测数据摆到一起，能帮你把三个问题说清楚：钱花在哪、速度在哪档破、你的模型配不配。
一、新的不是"把模型放内存"，是带宽
把MoE专家权重放到内存、用CPU算，不是这周才有的事：KTransformers这类CPU-GPU异构推理已经用了好几年，个人开源项目moe-l2更早就做到3060 12G跑35B MoE、实测21.5 t/s。知乎显存装不下就挪内存，这套思路是旧闻。
FreeToken真正新在哪？“新在带宽自适应执行”——根据当前机器真实测量到的PCIe与内存带宽动态决定专家放置，作者名单里还有Ion Stoica、Matei Zaharia、Kurt Keutzer、韩松。知乎效果是长prompt下首Token延迟降低42-58%，对反复追加上下文的Agent场景尤其明显。知乎
一句话给你校准认知：它不是"让以前不可能的事变成可能"，而是"把以前慢到没法用的那条路提到可用线以上"。这个区别，直接决定你愿不愿意为它动内存的钱。
二、三级介质，三档速度：44.8 / 12-83 / 4.8
先看基准线。知乎双3090玩家跑Qwen3.8-27B Q8_0，262K满上下文下，带5% offload的速度是25.7 tok/s，100% GPU是44.8 tok/s，差1.7倍，三轮实测没有误差空间。知乎
卸载到内存这一档，论文先给了锚点：RTX 4060笔记本跑Qwen3.6-35B到39.3 token/s，超过Codex生产trace中位decode速度33 token/s。知乎 同一口径下，35B-A3B在5090上能到77到83 tok/s，284B的DeepSeek-V4-Flash在5090上是22到25 tok/s。知乎
社区侧的数据同样能对上号：3090+256G DDR4主机，64K上下文实测12 token，比同机llm的5 token好得多，达到日常可用门槛。哔哩哔哩那波带火的5090教程也给了口径：DeepSeek Harness中约20-40 tokens/s，工具调用与长任务均可稳定运行。哔哩哔哩还有12G显存+64G内存跑35B-A3B NVFP4的自测数据，32K平均75 tok/s、200K还剩40——被指"合理偏乐观"。
更平民的两组：7900XTX 24G+64G内存跑125B MoE，调优并开启MTP后稳态20.1-22.8 Token/秒、峰值33.2。哔哩哔哩而一旦内存也不够用、从固态硬盘直接跑，代价立刻显形：93GB的IQ4模型，实测只有4.8 tokens/s。哔哩哔哩
整条谱系看下来，第二档内部相差6倍多的，不是内存容量，而是内存带宽、激活参数量和上下文长度：消费级DDR4双通道峰值约50 GB/s，DDR5双通道80到90 GB/s，而论文实测的CPU侧专家算子带宽是47.5 GB/s——带宽才是那堵墙。知乎结论就一句：卸内存是上车，卸硬盘只配挂机跑批。
三、最大的一盆冷水：稠密模型根本不在这波里
本周信息量最大的一个"否定"，来自知乎那篇16G显存部署实践：对于稠密模型，freetoken等CPU-GPU动态加载方案没有效果，仍然应当把所有权重全部加载在显存上。知乎
原因不复杂：稠密模型每生成一个token，被卸出去的每一层都要把完整权重拉回显存算一遍，每步是好几个GB的量；MoE每个token只拉被路由选中的那几个专家，每步几百MB。同一张3060 12G上，稠密的Qwen3-14B卸一半层到内存，速度从35.9 tok/s掉到5.7；35B的MoE把专家层全卸出去之后还有38。知乎反过来，稠密党也有自己的活法：小红书玩家用16GB显存跑Qwen3.8-27B的IQ3_S量化，128k上下文稳定40+ token/s，全程离线。小红书
也就是说，如果你想跑的是自己收藏已久的27B/32B稠密量化版，FreeToken帮不上忙。先看你要装的那个模型名字里有没有"A+数字"（比如35B-A3B这种）——有的，才是这波的门票。
四、四个坑，全部来自这两周的反证
坑一：5%的offload就会塌速。上面那位双3090玩家的结论写得很清楚——这个坑专门坑长上下文用户，短对话用户会永远认为它不存在。知乎 能塞满显存就塞满，别给系统留"一点点余量"。
坑二：MTP单流快、并发慢。oMLX基准里1K、4K、16K、64K四个上下文点位MTP的单请求生成速度全部更快；但切换到连续批处理后，2路总生成吞吐下降20.2%，4路下降10.8%。哔哩哔哩多人共用一台机器、多开窗口跑任务的，别盲开投机采样。
坑三：格式与功能边界没挪完。教程评论区有用户实测后吐槽：搞了半天gguf格式只支持Gemma-4模型，后续才支持其它模型的gguf，白忙活，而且还不支持多模态输入、没法输入图片。哔哩哔哩要喂图、或已经囤了一堆特定量化格式权重的，下载前先查证支持列表。
坑四：“满血"这个词要打个引号。评论区就有人直接问：满血不就是指不量化版本吗，是谁重新定义了？？哔哩哔哩“Q4量化对标哪个版本"的精度争论也一直没停。这波你买到的是"可用速度下的前沿模型”，不等于"云端旗舰平替”——卸载党（要更大模型）和一把梭党（要速度）各拿着一个真相，看你要哪个。
五、对号入座：四档人群，四个动作
8-12G显存+32G内存：先别动。32G内存跑百GB级模型会很快滑进硬盘档；内存又在涨价周期里，64GB DDR5套条一年时间从约1287元涨到今年8月的约7538元，试错成本今非昔比。知乎留在9B-27B稠密量化区间，体验已经不差。
16-24G显存+64G以上内存：可用档，值得跟。目标锁定MoE 35B-125B，预期落在12-40 token/s区间；先用手头模型验证"能塞满就塞满、offload比例多少"，再谈加内存——带宽和通道数比容量等级更值钱。
32G显存+192G以上内存：这波教程的主角机。论文口径的满血DSV4-Flash 22-25 token/s就是这档；但248G内存的现价不是小数目，先算带宽，再买容量。
Mac统一内存/多卡工作站：别借别人的数。M系列有自己的oMLX/MLX生态，FreeToken与KTransformers的多卡对比实测8月31日才开始出现，各平台数字不能混用。
最后给三个继续观察的信号：FreeToken的GGUF与多模态支持进度（决定它能不能日常化）；FreeToken vs KTransformers的同期实测（决定换引擎还是加硬件）；内存价格曲线（决定现在上车还是等下一波模型）。以及一个测试原则：别看宣传条的token/s，用你自己的任务计时——这波把"跑大模型的门票"做便宜了，没做便宜的是内存带宽。钱要花在通道上，不是容量上。
