运行本地超大模型DeepSeek,7666元的攒机配置表,是心动的感觉

2025-02-13 23:22:06 56点赞 436收藏 86评论

春节前后,Deepseek将AI大模型训练成本降至令人咋舌的水平,这一成果瞬间成为热门话题,吸引了全球关注。

运行本地超大模型DeepSeek,7666元的攒机配置表,是心动的感觉

现在官方已经经常出现繁忙的回复。所有使用的人都感到了不便利。

于是就有了本地部署的DeepSeek,但这样对于本地机器要求就很高了。如果要使用满血联网版本,就要A100或者H100!

运行本地超大模型DeepSeek,7666元的攒机配置表,是心动的感觉运行本地超大模型DeepSeek,7666元的攒机配置表,是心动的感觉

但是如今清华大学与联合趋境的开源项目团队KTransformers又传出好消息,他们成功把“本地部署超大模型的成本”降低到令人难以想象的程度。

他们通过巧妙利用Deepseek的MOE专家模型架构,将专家数据放置于精贵且数量有限的显存,其余数据存于价廉量大的内存,极大提升了本地部署Deepseek671B大模型的效率,大幅降低了硬件成本。

甚至有人给出价值7666元的《垃圾佬DEEPSEEK 671B》攒机配置表,畅想在七八千元的机器上运行404GB体量的671B Q4大模型,这一壮举无疑是中国人降本增效能力的又一有力例证。

垃圾佬DEEPSEEK 671B

配置 型号 价格

CPU E5 2680V4 X2 122

主板 双路X99主板最大兼容512G 868

内存 RECC 64GX8 共512G 2100

显卡 RTX3080 20G 3800

散热 X99四热管散热器X2 59

固态硬盘 梵想1TB PCIe 4.0 x4 S690 379

机箱 EATX机箱 59

电源 Thermalright(利民)额定750W TR-TB750S铜牌认证 279

合计 7666

运行本地超大模型DeepSeek,7666元的攒机配置表,是心动的感觉

这个CPU是原来做服务器的CPU。

E5-2680v4发布于2016年第二季度,由于是服务器处理器,因此单核性能比较低,仅仅相当于赛扬G4900,因此该处理器不适合游戏。不过服务器处理器注重的是多任务处理,因此多核性能还是很高的,相当于i7-10700的多核性能。

采用更新的22nm工艺制作,架构也从BroadwellEP升级为了Haswell-EP,三级缓存也增加了5MB。E52680v4处理器拥有14个计算核心28条执行线程(超线程)在BroadwellEP及14nm工艺的加持下基础频率2.4Ghz加速频率为3.3Ghz。

运行本地超大模型DeepSeek,7666元的攒机配置表,是心动的感觉

内存够狠。RECC 64G弄了8条,这内存的稳定性还行。

目前是一谈到服务器内存,大家都一致强调要买ECC内存,认为ECC内存速度快,其实是一种错误地认识,ECC内存成功之处并不是因为它速度快(速度方面根本不关它事只与内存类型有关),而是因为它有特殊的纠错能力,使服务器保持稳定。

ECC本身并不是一种内存型号,也不是一种内存专用技术,它是一种广泛应用于各种领域的计算机指令中,是一种指令纠错技术。它的英文全称是"ErorChecking and Correcting”,对应的中文名称就叫做“错误检查和纠正”,从这个名称我们就可以看出它的主要功能就是“发现并纠正错误”,它比奇偶校正技术更先进的方面主要在于它不仅能发现错误,而且能纠正这些错误,这些错误纠正之后计算机才能正确执行下面的任务,确保服务器的正常运行。

运行本地超大模型DeepSeek,7666元的攒机配置表,是心动的感觉

最后是显卡3080的20g版本。

这些RTX 3080 20GB显卡多数采用涡轮风扇设计,也有一些是拿零售的型号魔改的,有些商家宣称不锁驱动,只要降点显存频率就行,有些连降频都不需要。

矿潮早就结束了,但是矿场里的大量的矿卡总要找人接盘,游戏卡清洗一下(甚至不用清洗)二手批量出给贩子,接下来是当二手卖还是翻新这些矿主就不关心了。至于专门的矿卡就得想想办法了,不少都是涡轮风扇设计的,加上没有输出接口,就得“做一下小手术了”,增加输出接口后就能焕发新生了。

所以用这个显卡要的就是大显存的威力。

组装这个运行满血联网版Deepseek的硬件,只需要7666元。是心动的感觉!

笔者原本以为这个本地部署联网满血版,就是玩家在自己家运行不受限制的人工智能问答。但也有搞科研的朋友说,为了前期研发很多都不能上传资料,防止泄密。看来这个硬件升级的需求还是很大很大的!

而从古代农耕社会开始,中国人就懂得珍惜每一分资源,精打细算以应对各种不确定性。在资源相对匮乏的环境下,节约成本、提高效率成为生存与发展的重要手段。这种理念深深烙印在民族的基因中,使得中国人无论处于何种领域,都会本能地寻求最经济、最有效的解决方案。

7666元运行超大规模Deepseek 404GB体量的671B Q4大模型!你心动吗?

作者声明本文无利益相关,欢迎值友理性交流,和谐讨论~

展开 收起
86评论

  • 精彩
  • 最新
  • 20年前,隔壁的家长要给上大学的孩子配电脑,说起来要上最好的显卡,学的是3d设计。现在配显卡学3d设计已经被证实还没有毕业就被大模型整下岗了,所以买显卡还是在家老老实实玩3a算了。

    校验提示文案

    提交
    没那么夸张吧,设计类的利用ai工具不就行了。因为未来数年内看不到在输出类专业上能够特别准确的。现在特别能替代的是数字类和文字类的,比如象棋和围棋那种哪里落子都能够替换为0或者1来计算的的。越是排列组合的越难清切。用ai工具总结一篇论文的内容来画个图,他就很困难。

    校验提示文案

    提交
    打不过就加入呗

    校验提示文案

    提交
    收起所有回复
  • 俩epyc 9115 配 24*32gb ddr5 内存, 跑r1 可以每秒6个token,基本三四万能拿下。这个ktransformer 就是消费级硬件整个活,速度太慢没法用

    校验提示文案

    提交
    1帧能玩2帧流畅3帧电竞 [高兴]

    校验提示文案

    提交
    6tonken 也没法用啊

    校验提示文案

    提交
    还有2条回复
    收起所有回复
  • “畅想”=能运行?你们自媒体还是会写啊,两个字就能把毫不相干的事情联系起来

    校验提示文案

    提交
    现在不都要抢占先机吗,实际都是水文。

    校验提示文案

    提交
    毕竟引流快比好内容重要,没底线的东西

    校验提示文案

    提交
    还有1条回复
    收起所有回复
  • 华大学KVCache.AI团队联合趋境科技发布的开源项目KTransformers,彻底颠覆了这一认知。 他们最新的更新实现了令人瞩目的突破:仅需24GB显存,即可在本地运行DeepSeek-R1和V3的671B完整模型!预处理速度最高可达惊人的286 tokens/s,推理生成速度也达到了14 tokens/s。 这意味着,即使是普通消费级显卡,也能驾驭这个庞然大物
    给个原文大家看看

    校验提示文案

    提交
    不行,群里4060 24G显存,1T内存。70B回复超级慢。

    校验提示文案

    提交
    打错了,4090

    校验提示文案

    提交
    还有6条回复
    收起所有回复
  • 实际效果怎么样

    校验提示文案

    提交
    实际上就是个垃圾

    校验提示文案

    提交
    错了,是垃圾中的垃圾,本来就是一堆洋垃圾组成的机子。

    校验提示文案

    提交
    收起所有回复
  • 一秒钟两个字吗?

    校验提示文案

    提交
    应该是6个字左右吧

    校验提示文案

    提交
    3-4token,一个汉字0.6token,英文字母0.3

    校验提示文案

    提交
    收起所有回复
  • 671b,模型文件404GB,你才20gb GPU,所以这是做梦了

    校验提示文案

    提交
  • 7000多部署满血版?睡醒了没?没睡醒再睡会,梦里啥都有

    校验提示文案

    提交
    我还睡醒 [大囧] [大囧]

    校验提示文案

    提交
    int4

    校验提示文案

    提交
    还有2条回复
    收起所有回复
  • 没想到张大妈里还有这么多研究ai的大神,牛逼🤣

    校验提示文案

    提交
    为了流量 [皱眉]

    校验提示文案

    提交
    收起所有回复
  • 刚闲鱼找了个11个w的h100,能跑得动吗,在线等,还没拍

    校验提示文案

    提交
    满血的,一块不行

    校验提示文案

    提交
    可以的,你拍16块 [邪恶]

    校验提示文案

    提交
    还有5条回复
    收起所有回复
  • 狗屁都不懂,cpu和显卡只能用一个

    校验提示文案

    提交
    服务器主板可以放两个cpu的,显卡也有交火搭桥

    校验提示文案

    提交
    ollama支持cpu和gpu混合推理,但是据我部署的671B大模型跑推理来看实际上gpu负载0-3%,模型太大了,显存没大到一定程度,gpu已经不参与运算了,都是CPU再跑。

    校验提示文案

    提交
    还有1条回复
    收起所有回复
  • 直接上服务器了,还整这个

    校验提示文案

    提交
  • 能运行和流畅和极速,是一回事?

    校验提示文案

    提交
  • 有一种误解,生产力是用来赚钱的,轻量使用自己搭建个毛,

    校验提示文案

    提交
  • 个人使用还不如先用免费的,等卷不动开始付费了,挑个大厂的付费使用就行了

    校验提示文案

    提交
  • 等5070ti啊

    校验提示文案

    提交
  • 你们上KT官网看了吗

    校验提示文案

    提交
    382gb只是最低要求,上下文跑几个问题内存就爆了,要512gb内存才能跑的动,这已经跟绝大部分人无缘了

    校验提示文案

    提交
    382G内存和512G内存存在巨大鸿沟吗,消费级的机器本来就没有,能上382就能轻易512G,没差几个钱。

    校验提示文案

    提交
    还有2条回复
    收起所有回复
  • 校验提示文案

    提交
  • 这么多recc,还没加载完大模型就死机了,运气好加载完不死机,运行两分钟,内存就热爆炸了

    校验提示文案

    提交
  • 花这钱还不如申请接口假设

    校验提示文案

    提交
提示信息

取消
确认
评论举报

相关文章推荐

更多精彩文章
更多精彩文章
最新文章 热门文章
436
扫一下,分享更方便,购买更轻松