先把选题里的隐含前提掰开:DeepInfer 不是拿来装在自家电脑上的。这是 DeepSeek 在自己生产线上用了很多年的大规模云服务推理框架,目标是数据中心级的集群部署。但"零成本部署本地AI"这件事本身成立——免费的是软件层:模型权重、推理工具、优化技术全部开放;你能不能不花一分硬件钱在现有电脑上跑起大模型,取决于部署门槛和一笔成本账。
开源的是数据中心,普通人拿到的是"成本说明书"
10月20日,DeepSeek 宣布将内部推理框架 DeepInfer 全面开源,同时开源了生产级编解码组件 deepseek-recipe。这套框架兼容英伟达与华为昇腾两大硬件平台,配套组件则确保第三方部署的 API 处理逻辑与官方服务保持一致。知乎36氪
随框架一起公开的生产数据比框架本身更有信息量:DeepSeek V4.1 Flash 在单一集群上日吞吐达到 155 万亿 Token,按谷电价计算,每卡每小时收入 38 美元。 DeepSeek 对这一轮开源的定位,是帮助开发者和企业降低大规模 AI 服务的算力成本与能源消耗。而对个人用户来说,它更像一份"官方性价比长什么样"的参照:在这之前,行业里的开源长期只开放到权重层面,顶级模型的权重谁都能免费下载,但自建部署跑不出官方 API 的成本。36氪华尔街见闻知乎
不过这条"全自动生产线"没有整条搬出来:由于 KV Cache 管理和负载均衡部分与内部基础设施耦合较深,相关代码目前尚未完整开源。社区开发者的分析则指出了另一层价值:DeepInfer 内部整合的正是此前已经开源的 DeepEP、FlashMLA、DeepGEMM 等底层组件,企业级优化从一开始就在以社区可用的模块形式积累。36氪知乎
零成本的门槛,已经降到 8GB 显存的笔记本
真正对应"普通人零成本"的,不是去装 DeepInfer,而是近两个月陆续走红的边缘推理项目。MIT 韩松参与提出的 FreeToken 就是其一:它做的事情非常直接——让消费级和边缘 GPU 也能运行原本依赖数据中心的超大规模 MoE 模型。知乎专栏
它支持超过 20 个 MoE 模型,从 8GB 显存的笔记本 GPU 到工作站卡都能运行;项目 8 月开源后几天内就从不足百星冲到 GitHub 的 8.4k+ Stars。知乎专栏
实测速度已经够日常使用:在一台 8GB 显存的 RTX 4060 笔记本上,它能跑 35B 模型并达到 39.3 token/s;到了 RTX 5090 这张消费旗舰卡上,总参数 284B 的 DeepSeek-V4-Flash 也能保持 22–25 token/s 的稳定输出。想把门槛再压低,10 月热度很高的 Strata 走的是"显卡+内存+固态"三级存储:常用专家放显卡,其余专家放内存并让 CPU 参与计算,最终用一块 12GB 显存的显卡跑起了千亿参数模型,输出速度每秒 50 token 以上。知乎专栏知乎专栏
普通玩家已经照这条路走通了:有用户用八张 2070 攒出 64GB 总显存的自制开放式机架,低成本部署 Qwen3.8-27B,还顺手解决了家用环境的静音和散热。按现有设备对号入座的话:8GB 级独显笔记本加足够内存,可跑 35B 级 MoE;12–16GB 显存配大内存和高速固态硬盘,能碰千亿参数级;24GB 以上显存的单卡则可以直接跑量化后的主流开源模型。 承载这些的免费工具——Ollama、llama.cpp、KTransformers——也正是边缘项目们普遍对标的主流本地部署系统。小红书知乎专栏
零成本的另一半,是电脑不够时别急着买
“跑起来"和"跑得值"是两回事。实测作者的账算得很直白:16GB 显存的 5070Ti、96GB DDR5 内存加 PCIe 5.0 固态硬盘这样一套装机接近 3 万块,同样这笔钱可以订阅 18 年 GPT-Plus,真算账未必划算——只有超高频使用,才有可能比订阅会员回本。所以普通人的"零成本"只有一条严格成立的路线:用现有设备。设备达标,软件全免、边际成本只剩电费;设备不达标,本地部署的隐性代价是几千到几万元的硬件,而不是"DeepInfer 开源了所以免费了”。知乎专栏
对绝大多数中低频用户,DeepInfer 这次开源带来的实惠走的其实是另一条通道:官方产线吞吐与成本数据每往前优化一步,API 侧按量付费的价格就有继续下探的空间,"不部署、直接调用"本身就是零门槛的替代方案。判断只分两步:有隐私、离线、超高频这三类硬需求且现有设备达标,跑本地;否则等价格,不买卡。 至于 DeepInfer 本身,DeepSeek 已表态新模型的推理代码和后续性能优化将持续在这个框架里开源,推测解码、缓存复用这些在万亿级 Token 产线上验证过的技术何时渗透进消费级工具、让旧设备再榨出一轮性能,是这轮开源之后普通人真正值得盯的下一个信号。36氪