重磅！DeepSeek 开源了推理框架 - DeepInfer

点击上方蓝字关注我，加个🌟标不迷路。

各位小伙伴们大家好，我是 cxuan。

兄弟们，就在刚刚 DeepSeek 开源了自己的推理框架 --- DeepInfer。

image-20261020022012532

而且 DeepSeek Harness 负责人崔添翼也在某知名社交平台发帖子确认了这一点。

之前 DeepSeek 一直在致力于开源自己的大模型，开源 TileLang 编译工具，甚至开源自己的 Harness ，这次直接把推理框架都开源了。

同一个模型、同一批卡，推理框架做得怎么样，直接影响能同时服务多少人、回答要等多久，以及每个 Token 的成本。

所以对 DeepSeek 来说，推理框架就是把模型能力变成大规模服务的关键一环。

按照 DeepInfer 官方仓库的介绍，DeepInfer 已经用在 DeepSeek 自己的大规模生产服务里。

正是由于 DeepInfer，来使得 DeepSeek V4.1 Flash 实现高吞吐、低延迟的大规模推理服务。

之前 DeepSeek 开源了昇腾组件的时候，我就觉得这句话非常提气。

image-20261020023039565

而这次 DeepInfer 将继续兼容英伟达与华为昇腾平台。

就在此时，DeepSeek 又带着一条文言哲理句走来了：「为善与众行之，为巧与众能之」

这是战国思想家尸佼的著作《尸子·治天下》中的原句，它的意思是

做善事要带领大众一起去行善，发明了奇巧的技能要让大众都能学会掌握。只有这样，才是善行中最完美的善，技巧中最精妙的巧。它强调了圣人治国或修身时不追求“独善其身”或垄断技艺，而是主张与大众共享、共同提升的开阔胸襟。

这句话安在 DeepSeek 身上再合适不过了。

这正是 DeepSeek 要走的路线：通过分享内部的部署经验，帮助开发者与企业组织优化大规模推理的吞吐与延迟，从而高效构建私有化及公有云部署，降低算力成本、减少能源消耗，让智能以更低的价格触达更广泛的人群，实现真正的大模型普惠。

同时我将用一句话来总结下：不私其技，愿与天下共之。

DeepSeek 把开源的路线走通了属于是。

DeepInfer: github.com/deepseek-ai/DeepInfer

如果这篇文章你觉得还不错，谢谢你的三连，也希望可以转发给同样关注 AI / 科技 / 开发效率的朋友。 我是 cxuan，我们下期再见。