DeepSeek本地部署,再也不怕服务器崩了!

2025-02-02 08:45:39 129点赞 1267收藏 81评论

最近国产大模型 DeepSeek 非常火,但由于访问人数过多经常频繁出现反应迟缓甚至是宕机的情况。

但万幸的是,DeepSeek 是一个开源模型,我们可以通过本地部署在自己的终端上随时使用,而且部署到本地后无需联网即可直接使用。

一:安装Ollama

如果想要在本地运行 DeepSeek 需要用到 Ollama 这个工具,这是一个开源的本地大模型运行工具。

我们可以访问 https://ollama.com/ 进入 Ollama 官网下载 Ollama ,下载时有三个系统的安装包可选择,这里只需要选择下载我们电脑对应的操作系统版本即可,这里我选择的是 Windows 版本。

DeepSeek本地部署,再也不怕服务器崩了!

Ollama 安装包下载完成后直接双击安装即可,安装速度还是比较快的。

DeepSeek本地部署,再也不怕服务器崩了!

Ollama 安装完成后需要打开电脑的 CMD ,也就是命令提示符,只需要在电脑下方的搜索框中输入 cmd 即可打开。

DeepSeek本地部署,再也不怕服务器崩了!

打开后在命令提示符窗口中输入 ollama help 并按回车键,这个操作是为了验证这个软件是否安装成功,如果没有报错的话则表示这个软件安装成功。

DeepSeek本地部署,再也不怕服务器崩了!

二:下载部署 Deepseek 模型

回到 https://ollama.com/ 网址中,在网页上方搜索框中输入 Deepseek-r1,这个 Deepseek-r1 就是我们需要本地部署的一个模型。

DeepSeek本地部署,再也不怕服务器崩了!

点击 Deepseek-r1 后会进入详情界面,里面有多个参数规模可供选择,从 1.5b 到 671b 都有。

DeepSeek本地部署,再也不怕服务器崩了!

需注意的是,这里我们需要根据自己电脑的硬件配置来选择模型大小,下面是一个模型大小配置参考表格,大家可根据自己的电脑配置来自行选择,当然了,部署的本地模型越大,使用的深度求索效果就越好。

DeepSeek本地部署,再也不怕服务器崩了!

选择好模型规模后,复制右边的一个命令。

DeepSeek本地部署,再也不怕服务器崩了!

命令复制完成后回到命令提示符窗口,将刚刚复制的命令粘贴到命令提示符窗口中并按回车键即可下载模型。

DeepSeek本地部署,再也不怕服务器崩了!

模型下载完成后,我们就直接可以在命令提示符面板中使用它了。

DeepSeek本地部署,再也不怕服务器崩了!

以后如果我们需要再次使用 Deepseek 这个模型的话,我们可以直接打开命令提示符窗口,只需要再次在命令符提示窗口中输入上面复制的指令即可。

DeepSeek本地部署,再也不怕服务器崩了!

三:可视化图文交互界面 Chatbox

虽然我们可以在本地正常使用 Deepseek 这个模型了,但是这个 AI 工具的面板是非常简陋的,很多人使用不习惯,这时我们就可以通过 Chatbox 这个可视化图文交互界面来使用它。

点击 https://chatboxai.app/zh 进入 Chatbox 官网,Chatbox 虽然有本地客户端,但我们也可以直接使用网页版。

DeepSeek本地部署,再也不怕服务器崩了!

进入 Chatbox 网页版本后点击使用自己的 API Key 或本地模型。

DeepSeek本地部署,再也不怕服务器崩了!

点击后会进入模型提供方选择界面,这里选择 Ollama API 。

DeepSeek本地部署,再也不怕服务器崩了!

这里需要注意的是,为了能够 Ollama 能远程链接,这里我们最好看一下 Chatbox 提供的教程,根据这个教程操作一下。

DeepSeek本地部署,再也不怕服务器崩了!

这个教程还是非常简单的,如果是 Windows 操作系统则只需要配置一下环境变量即可,配置完环境变量后需重启一下 Ollama 程序。

DeepSeek本地部署,再也不怕服务器崩了!

重启 Ollama 程序后,我们需要将 Chatbox 设置界面关闭并重新打开,重新打开 Chatbox 设置界面后即可选择 Deepseek 模型了,选择后 Deepseek 模型后点击保存即可。

DeepSeek本地部署,再也不怕服务器崩了!

接下来只需要在 Chatbox 中新建对话即可使用 Deepseek 模型了,以下图为例,上方是它的思考过程,下方是它给出的答案。

DeepSeek本地部署,再也不怕服务器崩了!

Chatbox 可视化图文交互界面还有一个特点就是可以创建专属智能体,只需点击我的搭档即可创建,此功能是 Deepseek 官方暂时还没有的功能。

DeepSeek本地部署,再也不怕服务器崩了!
展开 收起
81评论

  • 精彩
  • 最新
  • 用的7640H的小主机,16g内存,部署了1.5/7/8/14b,测试问题1117117是不是素数,只有14b的结果是正确的,速度有点慢,感觉比普通人打字速度稍微快点。下单了24g内存,后面准备再试试32b的模型,后面折腾一下看看怎么把显卡用起来加加速

    校验提示文案

    提交
    48可能不够跑32b的,系统用掉几G就剩40了可能不够.
    反正我剩41.6可用内存的时候是没成功。

    校验提示文案

    提交
    噢,记错了,是70B的没成功 [观察]

    校验提示文案

    提交
    收起所有回复
  • ollama 玩玩还好 不能生产使用 生产使用还是需要多卡服务器~~
    我们是鼓捣服务器的 哈哈

    校验提示文案

    提交
  • 我没挂梯子,直接Pulling 14b版本,下载到50%以上后进度反而数次倒退,然后就EOF错误了,我再次运行ollama run deepseek-r1:14b,都直接提示internal error,是不是要把已下载的缓存删除才能再试?怎么解决呢 [期待]

    校验提示文案

    提交
    昨天cf出故障了,影响到ollama了,所有人都这样 [喜极而泣]

    校验提示文案

    提交
    可以去modelscope下载,不过modelscope下载的需要先用ollama create导入才能run。

    校验提示文案

    提交
    还有2条回复
    收起所有回复
  • 以后给领导的稿都不是人写的

    校验提示文案

    提交
    以后领导不需要人了 [皱眉]

    校验提示文案

    提交
    还有3条回复
    收起所有回复
  • 你本地部署的不是真正的r1

    校验提示文案

    提交
    知道不是呀

    校验提示文案

    提交
    收起所有回复
  • 看抖音上已经开始秒天秒地秒空气了

    校验提示文案

    提交
    你喜欢看秒天秒地他就是秒天秒地。这都不懂吗?

    校验提示文案

    提交
    我尼玛天天骂他们都封了仨号了…………

    校验提示文案

    提交
    还有8条回复
    收起所有回复
  • 我只担心隐私泄露

    校验提示文案

    提交
    淡定吧,啥年代了还纠结隐私。。。。。。

    校验提示文案

    提交
    还有国家安全

    校验提示文案

    提交
    还有5条回复
    收起所有回复
  • 本地很鸡肋,大部分人只能用个14b吧,跟官网没法比

    校验提示文案

    提交
  • 本地部署的也一样没有联网查询功能,而且参数量也少,速度还慢

    校验提示文案

    提交
  • ollama都要挂梯子的地方,用啥ai啊,主体思想足以解决任何问题

    校验提示文案

    提交
    你是搜不到境内的安装包吗?我ollama从软件网站下的 [皱眉]

    校验提示文案

    提交
    收起所有回复
  • ios上搜索fullmoon安装,然后下载deepseek模型就可以在手机上跑了

    校验提示文案

    提交
    有安卓手机版本的app么?

    校验提示文案

    提交
    有,PocketPal,可以添加Hugging Face上的模型

    校验提示文案

    提交
    还有1条回复
    收起所有回复
  • docker的有吗?

    校验提示文案

    提交
  • 你确认ollama官网现在能下载?

    校验提示文案

    提交
    github的,要用魔法

    校验提示文案

    提交
    收起所有回复
  • 下了个8b 真的有点傻

    校验提示文案

    提交
  • 会不会越用占地方越大啊

    校验提示文案

    提交
  • AMD6系用户哭晕在厕所

    校验提示文案

    提交
    6800xt 运行 32b 完全没问题

    校验提示文案

    提交
    我还犹豫是否买个6800xt,感谢解答,麻烦问一下6800xt运行32b的GPU占用率是多大?

    校验提示文案

    提交
    还有2条回复
    收起所有回复
  • 硬件需求?家里搭个服务器玩玩

    校验提示文案

    提交
  • 会讲好听的故事吗?

    校验提示文案

    提交
    训练好以后也有故事听

    校验提示文案

    提交
    收起所有回复
  • a770只能跑14b

    校验提示文案

    提交
  • 花了多少钱公关???没有好显卡根本跑不动。

    校验提示文案

    提交
    没好显卡是你的问题不是人家的问题

    校验提示文案

    提交
    收起所有回复
提示信息

取消
确认
评论举报

相关文章推荐

更多精彩文章
更多精彩文章
最新文章 热门文章
1.2K
扫一下,分享更方便,购买更轻松