A卡福音!3步本地部署DeepSeekR1,完全无需命令行
虽然一直以来谈到AI就是英伟达如何云云,但是本次DeepSeekR1的发布着实让人知晓了AMD早已突破了老黄的AI垄断。AMD在其发布之初就官方宣布了自家显卡在推理上的独到优势,并且很快在测试版驱动中开启了DeepSeekR1的本地使用选项,可谓是高歌猛进啊。
不过可能诸位手里有A卡的朋友们受限于PC知识,主要还是用着DeepSeek的官方应用,没有自己部署R1的想法。而现在层出不穷的DeepSeekR1部署方法又大多数都是命令行或者部署接口,搞的非常高级,但是日常使用完全用不上,也不太适合新手。所以为了大家都能用上国产争气大模型,我实验出了一个方法,可以完全避开使用命令行,让大家3步给自己部署一个本地的DeepSeekR1蒸馏模型,不受网络错误的气!

这次就用我平时在用的电脑为例,简单给大家演示一下如何不用任何命令行,就能在本地部署这个备受瞩目的大模型,而大家需要准备的材料只有:
一台电脑,有独显,或者有AMD的8系APU(例如8845)或者AI系APU(例如AI 9 370)
可以上网
有手就行
步骤1:下载LMStudio
LM Studio是一个极大程度方便windows用户的GUI大模型本地运行工具,在windows上会比ollama方便很多,首先我们来安装这个软件.......

一般而言,windows上本地部署开源大模型有ollama这个方案,但是使用上并不是很方便。原因主要就在于这个东西他是高手用的,像我这样的低手完全不想碰命令行。而且ollama下载模型基本都是官方仓库,占用显存更少的量化模型找起来比较复杂,所以对于我们家用用户来说,LMStudio更方便


安装过程全默认即可,打开之后就能看到很简洁的界面,过程并不需要装额外的依赖内容,也不需要下载额外资源,而且LM Studio在0.2版本就已经支持了ROCm,所以默认使用AMD显卡也是可以跑满速的


点击文件夹图标可以看到本地的模型,但是目前本地没有模型,联网也找不到模型。这个问题是因为huggingface.io在部分地区无法访问,所以我们需要绕过这个

步骤2:下载模型
绕过huggingface.io下载模型的方法也很简单,国内有hf的镜像网站,内容很齐全,版本也很新

比如我们搜索DeepSeek-R1-Distill-Qwen-1.5B-GGUF,然后打开页面,就能看到已经被量化打包好的模型。点开fileandversion这一栏,就能下载模型了。一般我们只需要下载一个模型,这里面比较推荐使用Q8模型,当显存不足的时候可以考虑Q2以及Q4


觉得慢可以用某雷p2p加速一下,会比浏览器下载快很多。下载的时候建议同时下载gitattributes这个文件,方便LMStudio读取模型信息

步骤3:准备本地模型文件
下载好上文中的模型文件之后,我们需要新建一个LMStuidioModels文件夹,这是仓库的根目录,然后新建一个unsloth文件夹,这是模型来源索引文件夹,然后再在其中根据模型名称新建文件夹,比如刚才下载了DeepSeek-R1-Distill-Qwen-1.5B-GGUF,我们就在这个文件夹里新建这个文件夹,然后放入下载好的模型文件,以及gitattributes


然后我们打开LMStudio,点击这个按钮更改本地仓库到刚才的LMStuidioModels文件夹,就能看到本地模型了


开始使用DeepseekR1
此时我们回到对话栏,就能在最上面选择模型,加载,然后开始使用啦。有A卡的情况下可以把CPU层数开到最大,这样就能完全使用GPU


比如我们选用一个模型,这里用的是最小的1.5B模型,完成加载后如图。我们此时就能在下方的对话框里随意提问了,和一般的大模型使用并无区别


查看显卡占用情况,就能看到LM Studio确实调用了GPU,因为LM Studio在0.2版本就已经支持了ROCm,所以使用AMD显卡也是可以跑满速的

至于性能可以看图,因为7900XTX的显存足够,所以能跑最大32B的量化模型。速度上,使用最小的模型可以达到225token/s,最大的模型也有35.4token/s,速度绝对是够用的,相比于一般CPU来说快了非常多

(可选)部署内网API接口
LMStudio也支持内网API接口调用,打开开发者模式,以及接口运行,就能在本地开启对应模型的接口。


比如这里使用models的api可以查看目前可用的模型名称,也可以使用curl命令进行尝试,直接按下这个按钮就能复制curl命令。打开内网API之后可以看到对应接口的端口,比如这里打开了这个端口之后,就能在其他应用里面进行调用


最简单的例子就是使用python做开发,可以直接通过request包来,调用这个API,如果有耐心还可以自己封装一些应用

用到的硬件
总结
虽然很想让DeepSeek帮我总结了,但是还是认真讲一下吧。LMStudio作为大语言模型入门的应用来说非常方便,但是默认接入抱抱脸是一个痛点,不过使用迅雷和国内镜像网站就能回避,总的来说比较方便。而大语言模型也是非常实用的一个工具,我平时做开发也会用大语言模型来写代码,DeepSeek爆发之后也是让我如虎添翼,所以我很推荐有条件的朋友都搞一个来玩玩。
至于部署需要的硬件成本,我觉得不高,你需要的是:一张12G以上显存的显卡用来部署14B的模型,16G以上的显卡部署32B的量化模型,或者AMD最新的8系或者AI系APU,比如8845或者AI 9 370之类内置NPU,用上内存也能跑32B的模型,使用上基本能媲美独显。而平时应用也非常方便,不仅是写文档写代码,有一些知识相关的可以用大模型来学,比如想学一下外语(正经),大语言模型是一个非常不错的老师。
AMD在AI领域内的不断追赶也让我这个小Afan更有信心了,本身AMD的显卡精度阉割就没那么狠,底子很不错。在AI这个方向上,先是开源的ROCm,接着又是计算卡MI系列,现在又在顶级大语言模型上有比同级N卡更强的推理能力。我已经开始期待奸商老黄被AMD的方案不断吃掉份额,然后被迫卖掉皮衣补贴公司的场景了(做梦中)为了助力这个梦想,大家都快把手里的A卡AU用起来啊,本地部署个DeepSeekR1给自己享受一把最新的科技进步!

最后送上一张图,感谢大家围观

作者声明本文无利益相关,欢迎值友理性交流,和谐讨论~

值友5468374518
校验提示文案
愚以为
校验提示文案
值友3592987774
校验提示文案
值友5468374518
校验提示文案
Jamesfu
校验提示文案
值友7845134206
校验提示文案
肚子疼呢
校验提示文案
gaoye
校验提示文案
YULIANGMAX
校验提示文案
tamakiramimy
校验提示文案
巨硬首席执行官
校验提示文案
指北针
校验提示文案
sala3153
校验提示文案
小五
校验提示文案
oO闪Oo
校验提示文案
值友1986225559
校验提示文案
是值友不是水友
校验提示文案
牙牙丸
校验提示文案
值友0000000009
校验提示文案
分开去旅行
校验提示文案
股票大涨
校验提示文案
肚子疼呢
校验提示文案
老曹-技术宅
校验提示文案
大杰宝哥哥
校验提示文案
臭豆腐烧榴莲
校验提示文案
分开去旅行
校验提示文案
值友7845134206
校验提示文案
值友0000000009
校验提示文案
牙牙丸
校验提示文案
是值友不是水友
校验提示文案
值友1986225559
校验提示文案
gaoye
校验提示文案
巨硬首席执行官
校验提示文案
oO闪Oo
校验提示文案
愚以为
校验提示文案
Jamesfu
校验提示文案
小五
校验提示文案
值友5468374518
校验提示文案
值友5468374518
校验提示文案
值友3592987774
校验提示文案