10月20日,DeepSeek宣布全面开源内部推理框架DeepInfer,并同步开源生产级Token编解码组件deepseek-recipe。这次开源的支持范围收得很窄:模型仅 DeepSeek-V4.1-Flash,硬件仅 NVIDIA SM100 和昇腾 950,协议为 Apache-2.0。微博知乎
把"怎么把模型跑便宜"这本账挂上GitHub,是件少见的事,但如果把热点标题读成"回家给自己电脑装一个DeepInfer",那就误会了。数据中心级的生产机器,还没轮到普通人的电脑用——零成本本地AI,走的一直是另一扇门:开源的模型权重,加上Ollama这类免费运行时。
这次开源的是"车间",不是"软件包"
DeepInfer的定位写在README里:本次开源交付的是离线推理能力。官方一并披露的运营数字则相当"数据中心级":单集群日吞吐155万亿Token,按谷价计算每卡每小时收入38美元。GitHub36氪
还有一个更关键的边界:README里明确列出了完整推理服务"未包含"的三样——KV cache 系统没有、Prefill/Decode 分离没有、数据并行负载均衡没有,官方给出的原因是与内部基础设施紧耦合。官方部署问答里的生产配置是 Prefill 使用 8 卡机器、decode 使用 64 至 128 卡超节点。README里的性能测试,预填充用了4张SM100,解码用了64张——这是测试配置,不是最低配置。换句话说,开源的是发动机,整车没出门:这份大方面向的是要在数据中心GPU或昇腾集群上自建V4.1-Flash推理服务的企业和组织,家用电脑、办公本、Mac都不在名单里。知乎GitHub小红书
普通人仍然能从这次开源里拿到的东西
引擎这一层早就是全行业共同推进的开源地盘,DeepInfer主要基于vLLM构建,并参考了SGLang和TensorRT-LLM。把生产级的工程喂回社区,整个行业的推理成本有可能被进一步压低。同步开源的deepseek-recipe处理逻辑与官方API完全对齐,第三方部署可以做到同样的接口行为。而更直接的福利在模型侧:DeepSeek-V4.1-Flash正式发布即免费开源,社区拿它做量化、测本地部署的教程当天就出现了。GitHub微博哔哩哔哩
零成本搭建,真实的路径只有一条
先要看懂硬件档位:7B、8B、32B、70B到底代表什么?4bit量化为什么能明显降低内存需求?搞清这两点就知道,16GB内存的办公笔记本通常只在7B/8B这一档舒服工作。有独显或大内存的机器可以上探更大的量化模型,128GB内存的MacBook已经有用户实测部署V4-Flash,token输出速度能达到每秒25至30个。本地工具Strata发布0.2测试版,内存与显存合计最低约27.6GB即可起步。哔哩哔哩小红书哔哩哔哩
软件链路全免费:Ollama是一个把大模型装进你电脑的开源工具:装好、拉模型、终端直接聊,接口兼容 OpenAI。一条`ollama run 模型名`就能开聊,再接上Chatbox、Cherry Studio这类现成聊天前端,零token费用、断网可用、数据不出机器。哔哩哔哩
两个边界要先掰清楚。"离线推理"不等于从头到尾不联网——官方示例默认先下载模型权重,这一步需要网络,也需要硬盘。"零成本"指的是软件免费、用存量硬件,电和时间是真实成本,而且量化版本越低,模型质量可能有所妥协。如果没有敏感数据要处理,用官方网页或云端API更省事;本地部署的价值,主要在隐私和"不看任何人脸色"的确定性上。小红书哔哩哔哩
把这条热点当价格信号,而不是下载链接
所以普通人消费这次开源的正确姿势,是把它当成一个价格信号:连推理这本账都摊开了,云端变便宜只是时间问题。下次再遇到"开源神器",先问四件事:开源的是模型、引擎还是应用?我的硬件和系统被支持吗?权重、依赖都准备好了吗?要的是跑通一次,还是稳定服务?四个问题问完,零成本本地AI的那条朴素路径——开源权重、免费运行时、现成电脑——也就清楚了。小红书