DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

2025-02-12 15:34:34 155点赞 317收藏 86评论

2025大年初一的时候我曾发了一篇如何在本地部署DeepSeek大模型的流程教程,意外的获得了超多的点击和收藏,也了解到了许多用户遇到的问题,经过一段时间的使用,我发现蒸馏过的32b DeepSeek用起来不太如意,遂折腾了一下,成功部署并能较为流畅的运行70b的DeepSeek本地版,实际体验与在线版的671b完整版区别越来越小了,已经是可用状态了。

DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

这里需要和不明白的朋友们讲下,32b、70b、671b的b代表什么:

b=billion,十亿,70b意思是700亿个参数,参数越多,大模型的推理和生成能力越强,能处理更复杂的任务、提供更精准的结果。但参数越大、对电脑要求越高,所以要结合现实综合考量后选择适合自己电脑的版本。

接下来的内容,我会以70b的蒸馏版模型,继续教大家如何部署70b DeepSeek本地版,其中包含解决很多用户关心的问题答疑,如何离线安装部署DeepSeek的操作。

这个流程我会假设你对编程和命令行操作有一点点点点了解,操作虽然很简单,但我也会尽量详细解释每一步,争取让小白也能成功部署。

需要准备的工作

电脑内存越大越好、显卡越强越好、固态硬盘越快越稳越好……总之,电脑配置要高,我的电脑核心配置供参考:

DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

Windows 11 23H2系统

CPU:Intel i9-14900K

主板:技嘉Aorus Z790冰雕

显卡:公版英伟达RTX 4080

固态硬盘:致态TiPro9000 1TB

内存:64GB双通道DDR5 6000 C30(16GB x4)

安装大语言运行框架

我们继续选用Ollama作为我们的DeepSeek大模型运行框架。

DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

Ollama是一个开源的AI工具,支持本地运行各种模型,包括GPT-4、DeepSeek等。我们要用DeepSeek就必须要安装运行框架。

打开Ollama的官网:ollama点com(输入的时候将“点”换成“.”,没有双引号,下同),或者去github下载(开源的项目),如果你是Windows的话,就下载Windows的版本并安装。

DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

安装完成后,电脑的任务栏会显示Ollama已经在后台运行了,看到后别关闭,关了就用不了DeepSeek了。

克隆代码仓库 部署大模型

DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

接着,我们可以在Ollama的官网直接打开DeepSeek大模型的拉取链接,在models里选择deepseek-r1即可。

DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

这时候,我们要根据电脑性能、尤其是显卡性能来选择大小不同的模型,如果你的显卡显存很大,可以选择更大一些。我的显卡是4080,显存是16GB,官方推荐用32b大小的DeepSeek模型。但,我测试过了,70b大小的同样可以运行,虽然速度稍慢,但深度思考、推理结果更接近671b的在线完整版

DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

选好后,复制右侧的框内的代码。

DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

按windows徽标键+R,打开“运行”,输入cmd并确定。

DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

在命令提示符或终端里,Ctrl+V,将刚刚复制的代码ollama run deepseek-r1:70b粘贴到里面,随后按键盘的Enter/回车健。

DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

70b大模型的文件大小是42GB左右,克隆/下载速度因人而异,默认会安装在C盘。如何想要更改大模型的存储目录,请拖到文章后面的部分,我会教各位如何操作。

CMD/终端运行DeepSeek

经过漫长的等待,70b大模型安装完成后,运行环境和DeepSeek大模型就算搭建好了。我们在cmd/终端里可以直接输入ollama run deepseek-r1:70b命令来使用DeepSeek。

DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

输入命令后,此时电脑内存大小和硬盘性能决定了载入时长,我这边用的PCIe5.0的致态TiPro9000,载入时间约10多秒,载入完成后就可以开始使用DeepSeek了。

DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

在使用过程中,CPU、内存和显存的占用率都挺高的,而且我也发现固态硬盘也时不时的需要进行大量读取,此时固态硬盘的性能还是挺关键的。

提升体验!用chatbox搭建操作界面

对于大多数没有编程基础的玩家来说,以上的命令行用起来非常繁琐不够直观,而且功能不够人性化,接下来我们可以通过搭建一个口碑较好的用户界面来运行。

DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

我选的是开源的chatbox ai工具,去官网chatboxai.app斜杠zh(输入的时候将“斜杠”换成“/”,没有双引号)或github上下载安装所需的版本。

DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

安装完成后,选择“使用自己的API Key或本地模型”

DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

在弹出的设置页面中,模型提供方选择OLLAMA API,模型选择deepseek-r1:70b。

上下文的消息数量上限可以拖到不限制,在严谨和想象(Temperature)拖到0.6比较好一些,兼顾严谨和发散,点击保存后完成!

DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

接下来就是愉快的使用过程了,对话过程中,我们也能和在线版一样,可以看到DeepSeek的思考推理过程,我的电脑运行时的速度大约是每秒2个token(2个汉字或2个单词),完全可以接受!

DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

以上的部署操作过程其实非常简单,小白跟着做,绝对可以完成。而70b的DeepSeek大模型已经可以很好进行思考推理生成了,如果不考虑时效性的内容(如上图中,DeepSeek对电脑硬件的了解可能还停留在2年前,但思路是对的),本地部署70b完全可用!

断网安装 如何导入下载好的大模型?

网络不好导致拖不动DeepSeek模型、或者单纯想在一台隔离网络的单机上部署DeepSeek的同学,可以用迅雷下载所需的大模型,并用手动导入到ollama指定的文件夹内,具体的详细步骤请看。

Ollama安装完成后,先设置一个DeepSeek的模型存放目录

DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

windows搜索框内输入查看高级系统设置,进入环境变量>新建,设定DeepSeek的模型存放位置,并在电脑硬盘目录里新建一个模型目录文件夹(比如我命名为deepseekmodel)。

变量名:OLLAMA_MODELS别写错,变量值就是deepseekmodel的文件夹地址

DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

随后在deepseekmodel文件夹内,右键新建一个文本文档(.txt),然后点击查看>开启显示文件扩展名,将这个txt文件的.txt后缀删掉,并命名为Modelfile

DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

先去modelscope点cn搜索所需的DeepSeek模型,搜索的时候,加上关键词GGUF(ollama支持的模型文件格式)。

DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

选好合适的模型后,进入其模型介绍和下载页面,选择一个下载即可。完成后,将此模型文件丢到D:deepseekmodel目录中。

(为了节省下载时间,在这个章节里,图片中我选用了7b的DeepSeek模型来做示范,其他大小的模型操作方法完全一致)

DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

右键点击Modelfile,用记事本打开,输入以上图片内容FROM D:deepseekmodelDeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf,并保存

(FROM后面,是DeepSeek模型的文件存放路径,一定要一字不差,可以右键点击模型文件,复制文件地址获取,记得删掉双引号,FROM后面加空格)

DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

随后打开cmd/终端,输入ollama create DeepSeek-R1-7B -f D:deepseekmodelModelfile

(意思是用D:deepseekmodelModelfile的路径找到模型文件,生成一个DeepSeek-R1-7B模型)

DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

完成后,D:deepseekmodelblobs文件夹内就会有这两个文件,大的那个就是模型文件。

DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

去cmd/终端里, 输入ollama list命令确认一下,有了!

DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

后续操作,和“用chatbox搭建友好的操作界面”章节完全一致,各位可往上滑参考。完成后就能用chatbox接入DeepSeek了。

硬盘如何选

DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

上面有提到,在使用DeepSeek、尤其是参数较多的模型时,电脑的压力还是蛮大的,除了显卡要强、内存要大之外,其实硬盘也得快。

因为DeepSeek的模型都是十几GB甚至几十、上百GB的单文件,需要解包载入到内存,整个过程对硬盘的性能要求不低,更好的SSD能提供更好的读取性能,不拖整机后腿。

DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

我这次用了致态TiPro9000这款旗舰级PCIe 5.0固态硬盘,它最高14000MB/s的满血读速、最高2000K IOPS(2TB)的随机读取速度,可以让我的电脑实现极限性能释放,载入模型的速度非常极速。

DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

而它搭载了全新一代的长江存储晶栈®Xtacking® 4.0架构原厂高品质存储颗粒,除了更快、而且还更稳,在我使用的过程中,没有出现卡顿的问题,整体体验相当不错!

DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

具体它的性能有多厉害,各位可以看以上的性能对比图,相比主流高端PCIe4.0的固态硬盘,它的性能几乎是翻倍的提升。

DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

而在PCMark10这种生产力系统盘基准测试中,它整体得分处于断档级的绝对领先地位。表现相当猛!

DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

除了性能,在质保方面,致态TiPro9000的5年/每TB容量600TBW写入保固让我可以放心的狠狠用,什么ollama deepseek、stable diffusion都往里塞,用起来没有后顾之忧。

而且在价格方面,横向对比同性能级别的大牌PCIe5.0固态硬盘:同价位的性能不如它、同性能的比它贵,这让致态TiPro9000很有性价比啊!

DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

如果你的电脑支持PCIe5.0的固态硬盘,那就别犹豫,直接上!另外,我推荐各位可以直接购入2TB版本,算下来的综合性价比还是挺高的,而且一步到位免折腾。靠谱!

如果不支持5.0的话,高端PCIe4.0固态也同样可以畅快用,像上面的测试图显示,致态TiPlus7100性能也相当不错,可以作为首选。

显卡如何选

DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

我推荐各位选购16G显存的中端卡,比如4070Ti Super 16G,价格在6000元以内,实际的AI推理、文生图速度和4080 Super没有区别。而且16G显存运行32b速度很快、70b的话主要是CPU和GPU协同处理(存疑),速度慢但也可以接受,综合下来还是可以的。

如果你能抢到5090,那自然是最好的,不仅推理速度更快,而且可以运行更大的模型。

最后

DeepSeek-70B手把手部署指南!断网也能轻松装,超实用!

在DeepSeek席卷的AI浪潮下,人工智能现在真的落地了,它让每个人都能轻松用上,降低了专业壁垒,惠及了每个互联网用户。接下来,我们要做的是让AI为我所用,这样才能在这个时代里立足啊!

希望此文对你有帮助,也希望各位部署DeepSeek一次成功。

展开 收起
86评论

  • 精彩
  • 最新
  • 不联网就能用确实是方便的,现在用的人太多了,基本都是连不上网

    校验提示文案

    提交
    说实话,如果官方服务器好用、网络不拥堵的情况下,联网版的是最好的。本地部署现在没有隐私泄漏,如果是企业级应用的话会更安全一些

    校验提示文案

    提交
    收起所有回复
  • 本地部署的和网络上的Deepseek运行结果会有很大的区别么?

    校验提示文案

    提交
    本地部属胜在不会出现网络和服务器拥堵的问题,但效果肯定不如在线版的

    校验提示文案

    提交
    收起所有回复
  • 这话说,怎么和生活切实联系起来?

    校验提示文案

    提交
    其他的我不多说了,看他如何教我做晋城卤面吧:一、关键食材的升级
    1. 面条选择
    - 最好用新鲜的手擀面或刀削面,口感更筋道。若用干面条,选择粗一点的圆面条(类似拉面),煮后不易软烂。
    - 传统做法:晋城本地人常将面条先蒸后焖。可尝试将面条蒸10分钟(半熟),再与卤汁结合焖制,吸收汤汁的同时保持弹性。
    2. 肉的选择
    - 肥瘦相间的五花肉或猪颈肉最佳,煸炒时油脂析出更香。切薄片后用少许料酒和生抽腌制10分钟,去腥增鲜。
    3. 蔬菜搭配
    - 传统晋城卤面多用豆角、土豆、胡萝卜,可加入少许黄豆芽或香菇提鲜,增加层次感。豆角建议先焯水1分钟去生味。

    二、卤汁的秘制配方
    1. 基础调味升级
    - 酱油用山西本地黄豆酱油(如宁化府),酱香更浓郁;加1勺黄豆酱或甜面酱,增加复合咸香味。
    - 五香粉可替换为花椒粉+八角粉(2:1),或直接放1颗八角、2片香叶在卤汁中煮出香味后捞出。
    2. 高汤替代清水
    - 用猪骨汤或鸡汤代替清水,卤汁更鲜浓。若没有高汤,可加1小块浓汤宝(鸡肉味)。
    3. 糖与醋的平衡
    - 加半勺白糖提鲜,出锅前沿锅边淋半勺山西老陈醋,激发出香气(醋味会挥发,留香不留酸)。

    三、火候与手法的关键
    1. 炒肉的技巧
    - 热锅冷油,先煸肥肉至出油,再下瘦肉片,中火炒至微焦黄,肉香更足。
    2. 分次焖面法
    - 传统做法会将卤汁分2次加入面条:
    - 第一次将卤汁均匀淋在蒸过的面条上,拌匀静置5分钟;
    - 第二次倒入剩余卤汁,小火焖至汤汁收干,期间用筷子挑散面条防止粘连。
    3. 避免糊锅的窍门
    - 焖面时用厚底铁锅或砂锅,锅底铺一层白菜叶或生菜叶(吸汁防粘),再放面条,最后淋卤汁。

    四、点睛之笔的增香技巧
    1. 猪油增香
    - 炒菜时加1勺猪油,或出锅前拌入少许猪油,香味瞬间提升。
    2. 蒜末与香油
    - 关火后撒一把生蒜末,盖上锅盖焖1分钟,蒜香渗透到面条中。淋几滴香油拌匀,味道更醇厚。
    3. 配菜点缀
    - 搭配腌萝卜丁、糖醋蒜或油泼辣子,解腻增味,还原晋城本地吃法。

    五、常见问题解决
    - 面条太干:卤汁量不足,建议卤汁与面条比例1:1.5(汤汁略多过面条)。
    - 蔬菜出水多:土豆和豆角提前用盐腌10分钟挤掉水分,避免焖面过湿。
    - 味道寡淡:可加少许蚝油或鸡汁提鲜,但需减少盐量。

    按照这些方法,卤面会油润鲜香、根根分明,既有肉的脂香,又有蔬菜的清甜,最后一丝若有若无的醋香是晋城风味的灵魂!

    校验提示文案

    提交
    收起所有回复
  • 新年给自己买了台高配笔记本,终于可以本地部署足够用的大模型了 [酷] ,DeepSeek-70b可以跑,llama3.2-11b(图文视觉模型)也OK AI新时代终究来了 我们一起拥抱变化[加油] ​

    校验提示文案

    提交
    ai搞起来啊

    校验提示文案

    提交
    能跑70B的笔记本,这配置得多给力啊

    校验提示文案

    提交
    收起所有回复
  • 在线使用总是连接不上~ 本地使用确实就需要个人的算力了

    校验提示文案

    提交
    那确实

    校验提示文案

    提交
    收起所有回复
  • 正愁没有教程呢,多谢大佬的分享。

    校验提示文案

    提交
    嗯 操作很简单的 可以搞起来

    校验提示文案

    提交
    收起所有回复
  • 这个的确有点酷,,,时髦啊,,大模型大家都玩。。

    校验提示文案

    提交
    deepseek颠覆了我对ai的看法 现在真的落地了

    校验提示文案

    提交
    收起所有回复
  • 段网都可以轻松装,这个教程收下了,我也要试试看。

    校验提示文案

    提交
    可以试试的 一个小时就可以搞定

    校验提示文案

    提交
    收起所有回复
  • 现在想要流畅的用 ds 只能是在后半夜了🥱

    校验提示文案

    提交
    真的…其他时候大概率崩

    校验提示文案

    提交
    收起所有回复
  • 我们大领导新年视察时候就说 大家都要用起来

    校验提示文案

    提交
    以后就是看谁会用AI了

    校验提示文案

    提交
    收起所有回复
  • 每秒2个token,这明显是炸显存了。
    还给4080……不如上个mac来的划算,96G内存版本的Apple silicon芯片(M1、M2、M3都行)就能跑Q8的70B了。
    或者看看AMD最新的CPU,AI MAX PRO系列,效果应该还行。

    校验提示文案

    提交
    所以说折腾玩玩嘛 [傻笑]

    校验提示文案

    提交
    收起所有回复
  • 学到了每次都从这里得到精品的攻略,谢谢大佬。

    校验提示文案

    提交
    谢谢支持,希望对你有帮助

    校验提示文案

    提交
    收起所有回复
  • 好专业哈,先学习一下

    校验提示文案

    提交
    嘿嘿 希望对你有帮助啊

    校验提示文案

    提交
    收起所有回复
  • 很实用

    校验提示文案

    提交
    还有1条回复
    收起所有回复
  • 好详细啊 但是 看完感觉好麻烦啊 hhh

    校验提示文案

    提交
    跟着做就会发现很简单,总过程大约1小时左右(含下载时间)

    校验提示文案

    提交
    收起所有回复
  • 这可是一篇那收藏的好闻

    校验提示文案

    提交
    可以搞起来 自己搭建可以解除限制 玩法更多

    校验提示文案

    提交
    收起所有回复
  • 大佬的机器威武啊 我的配置 估计1.5b都上不了

    校验提示文案

    提交
    不会的 手机都可以用7b的

    校验提示文案

    提交
    收起所有回复
  • 安好后这个是可以联网搜索的吗?

    校验提示文案

    提交
    不能

    校验提示文案

    提交
    收起所有回复
  • 我还没好好玩过deepseek,好几个小伙伴说它有点卡,我等它不卡了我再去玩

    校验提示文案

    提交
    夜里2-4点的时候 不卡了

    校验提示文案

    提交
    收起所有回复
  • 看了看我那7740H的核显还是老老实实的用官方的吧 [喜极而泣]

    校验提示文案

    提交
    没错 这个适合折腾 [傻笑]

    校验提示文案

    提交
    收起所有回复
提示信息

取消
确认
评论举报

相关文章推荐

更多精彩文章
更多精彩文章
最新文章 热门文章
317
扫一下,分享更方便,购买更轻松