A卡福音!3步本地部署DeepSeekR1,完全无需命令行

2025-02-19 11:28:55 119点赞 835收藏 63评论

虽然一直以来谈到AI就是英伟达如何云云,但是本次DeepSeekR1的发布着实让人知晓了AMD早已突破了老黄的AI垄断。AMD在其发布之初就官方宣布了自家显卡在推理上的独到优势,并且很快在测试版驱动中开启了DeepSeekR1的本地使用选项,可谓是高歌猛进啊。

不过可能诸位手里有A卡的朋友们受限于PC知识,主要还是用着DeepSeek的官方应用,没有自己部署R1的想法。而现在层出不穷的DeepSeekR1部署方法又大多数都是命令行或者部署接口,搞的非常高级,但是日常使用完全用不上,也不太适合新手。所以为了大家都能用上国产争气大模型,我实验出了一个方法,可以完全避开使用命令行,让大家3步给自己部署一个本地的DeepSeekR1蒸馏模型,不受网络错误的气!

A卡福音!3步本地部署DeepSeekR1,完全无需命令行

这次就用我平时在用的电脑为例,简单给大家演示一下如何不用任何命令行,就能在本地部署这个备受瞩目的大模型,而大家需要准备的材料只有:

  1. 一台电脑,有独显,或者有AMD的8系APU(例如8845)或者AI系APU(例如AI 9 370)

  2. 可以上网

  3. 有手就行

步骤1:下载LMStudio

LM Studio是一个极大程度方便windows用户的GUI大模型本地运行工具,在windows上会比ollama方便很多,首先我们来安装这个软件.......

A卡福音!3步本地部署DeepSeekR1,完全无需命令行

一般而言,windows上本地部署开源大模型有ollama这个方案,但是使用上并不是很方便。原因主要就在于这个东西他是高手用的,像我这样的低手完全不想碰命令行。而且ollama下载模型基本都是官方仓库,占用显存更少的量化模型找起来比较复杂,所以对于我们家用用户来说,LMStudio更方便

A卡福音!3步本地部署DeepSeekR1,完全无需命令行A卡福音!3步本地部署DeepSeekR1,完全无需命令行

安装过程全默认即可,打开之后就能看到很简洁的界面,过程并不需要装额外的依赖内容,也不需要下载额外资源,而且LM Studio在0.2版本就已经支持了ROCm,所以默认使用AMD显卡也是可以跑满速的

A卡福音!3步本地部署DeepSeekR1,完全无需命令行A卡福音!3步本地部署DeepSeekR1,完全无需命令行

点击文件夹图标可以看到本地的模型,但是目前本地没有模型,联网也找不到模型。这个问题是因为huggingface.io在部分地区无法访问,所以我们需要绕过这个

A卡福音!3步本地部署DeepSeekR1,完全无需命令行

步骤2:下载模型

绕过huggingface.io下载模型的方法也很简单,国内有hf的镜像网站,内容很齐全,版本也很新

A卡福音!3步本地部署DeepSeekR1,完全无需命令行

比如我们搜索DeepSeek-R1-Distill-Qwen-1.5B-GGUF,然后打开页面,就能看到已经被量化打包好的模型。点开fileandversion这一栏,就能下载模型了。一般我们只需要下载一个模型,这里面比较推荐使用Q8模型,当显存不足的时候可以考虑Q2以及Q4

A卡福音!3步本地部署DeepSeekR1,完全无需命令行A卡福音!3步本地部署DeepSeekR1,完全无需命令行

觉得慢可以用某雷p2p加速一下,会比浏览器下载快很多。下载的时候建议同时下载gitattributes这个文件,方便LMStudio读取模型信息

A卡福音!3步本地部署DeepSeekR1,完全无需命令行

步骤3:准备本地模型文件

下载好上文中的模型文件之后,我们需要新建一个LMStuidioModels文件夹,这是仓库的根目录,然后新建一个unsloth文件夹,这是模型来源索引文件夹,然后再在其中根据模型名称新建文件夹,比如刚才下载了DeepSeek-R1-Distill-Qwen-1.5B-GGUF,我们就在这个文件夹里新建这个文件夹,然后放入下载好的模型文件,以及gitattributes

A卡福音!3步本地部署DeepSeekR1,完全无需命令行A卡福音!3步本地部署DeepSeekR1,完全无需命令行

然后我们打开LMStudio,点击这个按钮更改本地仓库到刚才的LMStuidioModels文件夹,就能看到本地模型了

A卡福音!3步本地部署DeepSeekR1,完全无需命令行A卡福音!3步本地部署DeepSeekR1,完全无需命令行

开始使用DeepseekR1

此时我们回到对话栏,就能在最上面选择模型,加载,然后开始使用啦。有A卡的情况下可以把CPU层数开到最大,这样就能完全使用GPU

A卡福音!3步本地部署DeepSeekR1,完全无需命令行A卡福音!3步本地部署DeepSeekR1,完全无需命令行

比如我们选用一个模型,这里用的是最小的1.5B模型,完成加载后如图。我们此时就能在下方的对话框里随意提问了,和一般的大模型使用并无区别

A卡福音!3步本地部署DeepSeekR1,完全无需命令行A卡福音!3步本地部署DeepSeekR1,完全无需命令行

查看显卡占用情况,就能看到LM Studio确实调用了GPU,因为LM Studio在0.2版本就已经支持了ROCm,所以使用AMD显卡也是可以跑满速的

A卡福音!3步本地部署DeepSeekR1,完全无需命令行

至于性能可以看图,因为7900XTX的显存足够,所以能跑最大32B的量化模型。速度上,使用最小的模型可以达到225token/s,最大的模型也有35.4token/s,速度绝对是够用的,相比于一般CPU来说快了非常多

A卡福音!3步本地部署DeepSeekR1,完全无需命令行

(可选)部署内网API接口

LMStudio也支持内网API接口调用,打开开发者模式,以及接口运行,就能在本地开启对应模型的接口。

A卡福音!3步本地部署DeepSeekR1,完全无需命令行A卡福音!3步本地部署DeepSeekR1,完全无需命令行

比如这里使用models的api可以查看目前可用的模型名称,也可以使用curl命令进行尝试,直接按下这个按钮就能复制curl命令。打开内网API之后可以看到对应接口的端口,比如这里打开了这个端口之后,就能在其他应用里面进行调用

A卡福音!3步本地部署DeepSeekR1,完全无需命令行A卡福音!3步本地部署DeepSeekR1,完全无需命令行

最简单的例子就是使用python做开发,可以直接通过request包来,调用这个API,如果有耐心还可以自己封装一些应用

A卡福音!3步本地部署DeepSeekR1,完全无需命令行

用到的硬件

总结

虽然很想让DeepSeek帮我总结了,但是还是认真讲一下吧。LMStudio作为大语言模型入门的应用来说非常方便,但是默认接入抱抱脸是一个痛点,不过使用迅雷和国内镜像网站就能回避,总的来说比较方便。而大语言模型也是非常实用的一个工具,我平时做开发也会用大语言模型来写代码,DeepSeek爆发之后也是让我如虎添翼,所以我很推荐有条件的朋友都搞一个来玩玩。

至于部署需要的硬件成本,我觉得不高,你需要的是:一张12G以上显存的显卡用来部署14B的模型,16G以上的显卡部署32B的量化模型,或者AMD最新的8系或者AI系APU,比如8845或者AI 9 370之类内置NPU,用上内存也能跑32B的模型,使用上基本能媲美独显。而平时应用也非常方便,不仅是写文档写代码,有一些知识相关的可以用大模型来学,比如想学一下外语(正经),大语言模型是一个非常不错的老师。

AMD在AI领域内的不断追赶也让我这个小Afan更有信心了,本身AMD的显卡精度阉割就没那么狠,底子很不错。在AI这个方向上,先是开源的ROCm,接着又是计算卡MI系列,现在又在顶级大语言模型上有比同级N卡更强的推理能力。我已经开始期待奸商老黄被AMD的方案不断吃掉份额,然后被迫卖掉皮衣补贴公司的场景了(做梦中)为了助力这个梦想,大家都快把手里的A卡AU用起来啊,本地部署个DeepSeekR1给自己享受一把最新的科技进步!

A卡福音!3步本地部署DeepSeekR1,完全无需命令行

最后送上一张图,感谢大家围观

A卡福音!3步本地部署DeepSeekR1,完全无需命令行

作者声明本文无利益相关,欢迎值友理性交流,和谐讨论~

展开 收起
63评论

  • 精彩
  • 最新
  • 最新版本7900XTX,可以用ollama官方版程序,加AMD最新版本25.1.1驱动,直接运行大模型,不需要额外折腾。

    校验提示文案

    提交
    看样子是win下面的rocm已经到位了。

    校验提示文案

    提交
    最新版本7900XTX是什么意思,显卡还有新版旧版的?

    校验提示文案

    提交
    还有7条回复
    收起所有回复
  • i5 8600+dg1漂过,ollama跑deepseek-r1:1.5b,显卡占用百分之70左右,7b跑满,win11内存占用10g左右

    校验提示文案

    提交
  • A卡本地部署的痛点不是这个,ollama+r1模型+chatbox本地随便部署(只要下载正常能下载,下载顺序也按这个即可)A卡本地部署的痛点是中低端卡不能GPU加速模型运算不在显存而是在内存,运算的核心是CPU而不是GPU

    校验提示文案

    提交
    A卡在6系开始都有类cuda单元了,所以通过ROCM都可以支持AI计算操作。

    校验提示文案

    提交
    收起所有回复
  • 但是,不清楚AMD显示是否支持模型微调,若不支持(仅支持推理),则意义没想象中那么大

    校验提示文案

    提交
    微调要的显存太大了,原版微调的话家里没有H100 8张没办法微调

    校验提示文案

    提交
    收起所有回复
  • 我有个 6900xt 可以用这个吗?速度咋样?

    校验提示文案

    提交
    可以用,速度应该很不错

    校验提示文案

    提交
    可以用 效率还行 自用没问题

    校验提示文案

    提交
    收起所有回复
  • 9700x核显是不是最低配也搞不了? 最低需要啥显卡?

    校验提示文案

    提交
    可以搞,但是比较卡,显卡就丰俭由人了,7900xt就能玩的很爽

    校验提示文案

    提交
    我先用核显搞一个玩玩!不够再上一张显卡!搞这个cpu主要想玩玩量化!

    校验提示文案

    提交
    收起所有回复
  • ai绘图做视频方面,5070ti是不是比9070xt强多了?

    校验提示文案

    提交
    大概率是的,新的50系推理又加强了,但是LLM差距不大

    校验提示文案

    提交
    我有一张9070xt本地部署comfyui生图速度甚至比不上我原来的3060ti

    校验提示文案

    提交
    还有1条回复
    收起所有回复
  • 部署了个32B的,但说实话,跟在线的没法比,在线的还没开深度思考和联网呢,本地的好处只是不会服务器繁忙,适合处理一些表格数据,程序编写等通用问题处理。一到具体问题上,比如你问它谁是我是一只小小鸟的原唱,或(有罪的,无罪的,天知道,朕也知道,)是哪里的台词,它就一本正经的瞎答,你质疑,它tm还说你记错了,直到你告诉它正确的答案。

    校验提示文案

    提交
    的确

    校验提示文案

    提交
    收起所有回复
  • 蒸馏量化之后的模型处理复杂内容时幻觉比较严重,TPS也很低,也就体验一下吧。

    校验提示文案

    提交
  • 没有deepseek之前也可以用a卡+ollama+lm studio吧。。。

    校验提示文案

    提交
  • 两张rx580 16g显存加电脑32g内存,能跑32b吗!

    校验提示文案

    提交
    目测跑不了,我用rx580试过,不会调用显卡,看网上说是一个什么版本太旧的缘故

    校验提示文案

    提交
    我用rx580跑7b~4量化模型可以跑,占用6g显存,14到15tk.应该是gup加速,计算单元占用98%

    校验提示文案

    提交
    收起所有回复
  • 6700xt支持吗

    校验提示文案

    提交
    哈哈哈,本人就有一张相同的卡,技不如人的6700XT,12G显存应该够了吧。作者有钱,直接7900XTX,这就弄不起了。不过我的6700XT是2020时买的,价格还是比不上现在的7900XTX。尽可以试一下啊。

    校验提示文案

    提交
    不支持 [大囧] 6700xt不支持调用rocm

    校验提示文案

    提交
    还有5条回复
    收起所有回复
  • 8845能有什么速度

    校验提示文案

    提交
    内存够的话,32b-q4,2-3token/s

    校验提示文案

    提交
    本来还想用我的8845笔记本跑跑,看到这个速度,还是算了,在线的很香

    校验提示文案

    提交
    还有6条回复
    收起所有回复
  • 到最后还不是命令行

    校验提示文案

    提交
  • 完全听不懂你在说什么

    校验提示文案

    提交
  • 蒸馏模型不是满血版吧 [高兴]

    校验提示文案

    提交
    满血?你想多了

    校验提示文案

    提交
    你自己都说蒸馏的还提啥满血***

    校验提示文案

    提交
    还有1条回复
    收起所有回复
  • 已试,6000系可以500系不行

    校验提示文案

    提交
  • 之前玩了下,6900xt部署14bQ6最大也就35tok/s,32bQ4爆显存6tok/s,q3kl也就10tok/s上下。结论是不如直接问在线版,哪怕是写代码都不如在线版更别说还有vs code的AI插件。本地rawflow可以加载embedding模型和限制已读乱回,但是上传分析知识库太慢了

    校验提示文案

    提交
  • 本地部署基本都是玩具

    校验提示文案

    提交
  • 笔记本7945Hx+4060 8G+16Gddr5能跑多大的模型?

    校验提示文案

    提交
提示信息

取消
确认
评论举报

相关文章推荐

更多精彩文章
更多精彩文章
最新文章 热门文章
835
扫一下,分享更方便,购买更轻松