这周，Hugging Face被一只小怪物挤爆了。一个叫DeepSeek-V4-Pro-Qwen3.5-9B-heretic的社区蒸馏模型，Q4量化后只有5.6GB，上线没几天就冲到1.8万次下载，核显笔记本、4GB显存的老卡直接就能跑。小红书小红书哔哩哔哩
它怎么把强推理塞进5.6GB的？
用DeepSeek-V4-Pro产出的约25万条高质量数据去蒸馏Qwen3.5-9B，推理和数学能力直接拉满。小红书哔哩哔哩
完全开源免费，Apache 2.0协议，ollama一行命令就能拉起来。小红书哔哩哔哩
实测UP主还扒出了细节：支持图片识别、262K上下文，4GB显存卡照样部署。哔哩哔哩
本地大模型，长期卡在"门票"上。太多人的真实配置是：8GB显存、32GB内存，每次刷到别人本地跑模型写代码、当Agent使唤，评论区一片"已冲"，自己只能默默点赞关页面。但这次答案变了：尝鲜者实测，这个模型的token速度比qwen3:8b慢一点，能力却明显更强。更早之前，一块去年只值三千多块的V100跑"几乎无损的量化版27B"就已经被验证过，旧硬件从来不是死局。知乎哔哩哔哩知乎
但先别上头，争议也是真的。
“正确率怎么样？”——目前全是社区抽查，还没有权威基准背书。
实测速度并不丝滑：有人拿PS5跑出50 tok/s，同时直言生成容易重复、别指望它写创作。哔哩哔哩
反对派同样嗓门大：“9B模型还是不行”。
一句话给它定位：它不是前沿模型的平替，是"能干活"的门票。体验上限由缓存工程和思考长度决定，不由硬件决定，整理文档、查资料、跑个小Agent都够用。知乎
这事真正提醒你的是：别为"配置焦虑"付溢价。回看这两个月的本地圈新闻，门槛一路往地上砸：1GB显存能跑带工具调用的1.7B模型。2500块手搓丐版主机跑得动35B。Redmi K20 Pro靠diskinfer盘辅助，能流式装下122B的MoE。连B站快60万播放的"蓝色大肥鱼"桌宠，都把4B本地模型塞进了电脑，不用APIKey、不吃token。哔哩哔哩哔哩哔哩哔哩哔哩哔哩哔哩
所以，买显卡之前：先用你手头那台旧电脑，把这只5.6GB的怪物跑一周。够用，钱直接省下；不够用，把实测卡脖子的是速度、上下文还是能力拿回来，再只升级那一项疼的地方——甜点本来就在12GB、24GB显存档，显存不用乱加。小红书
“你的AI是租来的，还是养在家里的？”——这个问题，值得每个预算有限的普通玩家回答一次。
