深耕数码、游戏兴趣领域
5
8
5090 D双卡大战DeepSeek-R1 70B
2025-03-10 18:23:47
1点赞
2收藏
0评论
让DeepSeek运行在本地电脑上，究竟需要什么配置？不同版本的DeepSeek模型又有什么区别？双显卡能否加速DeepSeek运行？极评测为你带来全网最深入浅出的DeepSeek本地部署讲解。
首先，为什么要本地部署DeepSeek?
主要原因有三个，第一，避免服务器繁忙，随时都可以用；
第二，可以添加本地知识库，提升模型在特定领域的性能；
第三，为了数据隐私和安全性。
目前，DeekSeek在数学、科学以及编程方面的能力，毫不夸张地说已经超越70%的人类。尤其是2025年1月发布的DeepSeek-R1版，在各项评估中都名列前茅。不过要运行DeepSeek-R1满血版（671B），需要至少6张A100算力卡，注意这还是INT4精度的版本，如果是FP8精度，至少要10张A100。而能装下这么多卡的电脑，必须得是至强或者EPYC的服务器才行，预算得要200万起。显然个人玩家是没办法玩转的，思聪估计现在也不行了。于是，就有了DeepSeek-R1的蒸馏模型。
所谓蒸馏，就是对DeepSeek-R1模型的参数规模进行压缩。满血版的DeepSeek-R1模型有6710亿参数，而蒸馏后的R1模型参数从700亿到15亿不等，参数规模越大，DeepSeek的能力就越强。
打个比喻，如果6710亿的R1是大学教授的话，那往下分别是研究生（70B）、大学生（32B）、高中生（14B）、初中生（8B）和小学生（1.5B）。如果论干活能力，14B以下的模型实用价值不高，玩玩尝个鲜可以，它的智慧可能还不如你手机里面的小爱同学。所以，要想DeepSeek真正成为你的AI工作助手，最好是上70B模型。
从这张表可知，运行70B模型对显存的需求依然不低，需要约40GB。而我们现在能买到的消费级最强显卡——RTX 5090D只有32GB显存，能运行吗？我们一试便知。
我们的测试平台如下：
CPU： 英特尔U9 285K
主板： 微星MEG Z890 ACE 战神
内存：金士顿FURY叛逆者 24GB*2 8400Mhz
硬盘：希捷酷玩540 1TB PCIe 5.0
显卡：微星 GeForce RTX 5090D 32G 超龙X2
微星 GeForce RTX 5080 16G 超龙
微星 GeForce RTX 4060TI 16G 魔龙
电源：鑫谷 昆仑九重KE-1300P 额定1300W
散热：酷冷至尊ION 冰界 360水冷
部署工具：Ollama
量化模型：DeepSeek-R1-Distill-Llama-70B
GUI：AnythingLLM
系统：Windows11专业版 24H2
显卡驱动版本：Game Ready 572.43
程序框架采用目前比较流行的Ollama+AnythingLLM。关于软件部署，网上已经有很多教程，我们就不做赘述了。
重点说说显卡，我们使用的是微星的旗舰型号5090 D超龙，这是目前风冷5090D显卡里最强的存在。不仅体积非常夸张（4槽位），重量也达到了2.8KG。
它采用全金属框架设计，配备夸张的11根热管以及9mm均热板，内部的散热鳍片采用了微星最新的波浪设计，可以增加气流的通过效率。
显卡的背面也是少有的全覆盖金属装甲，GPU核心背部无镂空。供电部分更是采用夸张的16+6+7项供电，MOS管全部是50A的规格，绝对是旗舰级的用料。像AI这类长时间运行的环境，我们不推荐显卡选丐板。
来看测试，虽然5090 D已是消费级最强显卡，但是运行R1 70B模型还是很吃力，速度只有5.49 Token/s，非常的慢。Token是衡量AI运行速度的一个指标，你可以简单理解成AI每秒生成的文字数量，Token值越高说明推理速度越快。至于为什么5090 D这么慢？原因在于爆显存了。
前面已经说了，即便是蒸馏后的70B模型，对显存的需求也有40GB之多。而5090 D只有32GB，那差的那部分就会使用共享显存，也就是内存。当DeepSeek运行时，可以观察到5090D显卡的显存占用量瞬间爆满，同时共享显存也会使用到12GB。这12GB的数据，其实是跑在了CPU上，速度要比GPU慢很多，加上内存的带宽也比显存落后太多，所以……用到的共享显存越多，速度拖累越明显。
网上有人用超大的内存来跑DeepSeek 70B和671B也是相同的原理。还有人更夸张，既然内存可以共享给显存，那SSD硬盘也可以虚拟内存，这样一来，即便是671B模型也可以在本地运行了，只是速度嘛？……就和死机差不多，完全没有意义。
那有没有更好的解决办法呢？有，加卡。我们再增加一张5090 D超龙，总显存容量来到64GB，这下运行速度直接来到23 Token/s，翻了4倍。
在测试中我们还发现一个BUG，Windows任务管理器无法正确显示副卡GPU的工作情况，只有用GPU-Z才能看到2张卡都处于跑满的状态，而且负载分配也很平均（1:1），这说明Ollama可以很好地平衡每张卡的算力。
之前我们还担心5090 D不支持NV-Link，没办法多卡协作，没想到DeepSeek不用NV-Link也能支持多卡加速。还有就是PCIE带宽的问题，因为消费级的主板最多只有3根PCIE插槽，除了第一根是PCIE 5.0/4.0 x16以外，另外2根都是PCIE 4.0 x4，带宽非常有限。还好从测试结果来看，DeepSeek推理过程对PCIE带宽依赖并不高。不过这也仅限于AI推理，如果是AI训练的话，结论可能就不同了。
接着我们又试了5090 D+5080的双卡配置（32GB+16GB显存），速度也非常快，接近20 Token/s。
那有没有比5090D+5080更便宜的方案呢？有，我们换上这张微星4060 Ti 16G试试！结果竟然也有12 Token/s，比单5090 D显卡快了2倍以上。
从测试成绩加上我们研究后发现一个规律，运行DeepSeep最优先要考虑的是显存容量，比如70B需要至少40GB显存，32B需要至少18GB显存……在满足显存容量的前提下，多卡的算力可以叠加。
DeepSeek-R1 INT4量化70B蒸馏模型运行速度
所以本地部署DeepSeek配置思路是优先满足显存需求，然后再看显卡的AI性能。如果你期望有一个高智商的AI助手，或者小公司搭建一台供多人使用的AI服务器，最好是选2张5090D或者5090D+5080的配置。如果想节约一些预算，也可以用5090D+4060 Ti 16G这样的组合。总之原则就是先满足显存需求，再堆显卡算力。
那有朋友可能会问啦，为什么不插3张显卡？其实3卡也是可以的，主要是因为消费级主板插不下啊，后面两张卡的位置冲突了，除非你用PCIE转接线。另外3卡电源也是一个问题，通常要用到双电源供电，也非常麻烦。
好了，以上就是本期全部内容，如果你有更好的解决方案，不妨分享出来。或者你还有哪方面的疑问，也可以在评论区留言。
