大家都在部署本地DeepSeek R1,但是又有人极力反对本地部署?

2025-02-06 19:22:43 76点赞 458收藏 110评论

菜菜不是虚名,是真的菜,所以发布的文章不是“教你做什么”,而是“我正在做什么”。如果恰好这个阶段你也正在玩这些,可能帮你节省一点时间,或者避开一两个小坑,仅此而已。

今天起会发布一些DeepSeek相关的小文章,也是因为我最近在倒腾这玩意。

大家都在部署本地DeepSeek R1,但是又有人极力反对本地部署?

问题一:刷短视频和看文章,貌似DeepSeek经受了一系列的网络攻击后,大家都部署了本地的DeepSeek R1,难道是比DeepSeek的APP不好用吗?

我的认识是这样的,我们个人用户,偶尔打开提问求答案这种简单的需求,DeepSeek 的APP几乎都能100%的满足。毕竟一天也用不到几次。

但是这两类用户对DeepSeek这种Ai有强烈的需求和个性化的需求,一是每天8个小时工作内容里,有一半以上时间需要借助DeepSeek来完成和解决问题。本地部署能够确保顺利完成工作内容。

另外全球范围内的科技巨头和大型的集团公司普遍宣布已经接入DeepSeek,有些本身就是云服务提供商,它们有强大的硬件支撑,能够为客户提供最新的最有价值的服务,并且按分钟计费!另外一些则是本地化后进一步训练来服务自己的行业和集团,这就是Ai在不同行业发挥的作用。

而个人部署DeepSeek R1的某个版本,不单单是为了和Ai聊个天,而是在其基础上,进一步训练,使这个DeepSeek能够了解自己的行业,服务自己的领域,完成独特的工作

问题二:DeepSeek R1和DeepSeek V3的区别,以及DeepSeek R1 的1.5b到671b的区别?

如果我们使用DeepSeek的APP对话,其实使用的是DeepSeek V3,它有671b的总参数,也有叫它满血版。零散的使用,用它最聪明!

大家都在部署本地DeepSeek R1,但是又有人极力反对本地部署?

DeepSeek R1是DeepSeek公司推出的一款开源推理模型,并且又“蒸馏”出6个小模型,就是大家知道的1.5b,7b,8b,14b,32b,70b。这其中就有两个字眼: Llama 和 Qwen 。1.5b和7b,14b,32b是DeepSeek-R1-Distill-Qwen-7B这样的名称。8b和70b是DeepSeek-R1-Distill-Llama-8B这样的名称。

大家都在部署本地DeepSeek R1,但是又有人极力反对本地部署?

所以,如果你要本地部署,选哪个“蒸馏”版本,第一依据是自己的硬件,你有多大的显卡,多大的内存,这个网上很多说法,你可以做个衡量,我2060的显卡6G显存,32G内存,正在用7b,思考很快,输出流畅。

大家都在部署本地DeepSeek R1,但是又有人极力反对本地部署?

选择哪个版本第二个依据是看Llama 和 Qwen的区别。

问题三:本地部署8GB显存,选择7b还是8b?

Qwen是由阿里巴巴达摩院推出的,主要服务于中文和全球市场,特别优化了中文语料和应用。LLaMA是由Meta AI(前Facebook)开发的,主要针对学术研究和开源领域,提供参数规模较小但性能强大的模型。

Qwen特别专注于中文优化。LLaMA是一个通用模型,主要使用英语语料进行训练。所以,参考了一些信息后,非得从7b和8b这两个中选择的话。基于Qwen的DeepSeek-R1-Distill-Qwen-7B可能更合适

问题四:怎么本地部署DeepSeek R1?

网上铺天盖地的教程,很详细,也很简单,你搜索下照着做就能完成。

大体的思路是先装Ollama,Ollama是一个用于在本地运行大型语言模型的工具。然后在Ollama里用明令行拉取和运行DeepSeek R1的某个版本。成功后在命令行里就能“聊天”。但到这里才是“毛坯房”。更好的使用起码得个可视化的工具(有四五个可选),想要训练的更符合你的需求,也需要额外的工具支持。

大家都在部署本地DeepSeek R1,但是又有人极力反对本地部署?

稍后陆续分享,欢迎进一步交流。

作者声明本文无利益相关,欢迎值友理性交流,和谐讨论~

展开 收起
110评论

  • 精彩
  • 最新
  • 14b本地其实约等于不可用状态。真要较真,他在输入问题的那一瞬间也会生茶。32b 目前的个人电脑用起来挺卡。花钱接入api,为啥不直接用那个软件。

    校验提示文案

    提交
    本地和接入 api 都可以调用自己的知识库,能够真正干活 [邪恶]

    校验提示文案

    提交
    除了写码 其他都会生查。本地是提前生查,仅仅好点。

    校验提示文案

    提交
    还有2条回复
    收起所有回复
  • 70b是个人部署能用推荐的底线。但实际算下来电费钱都比调用api贵,所以没任何意义,至少现阶段

    校验提示文案

    提交
    是的,个人 api 就够了

    校验提示文案

    提交
    70b是给哪些需要微调后部署的企业用的,最常见的是医疗、法律和软件行业

    校验提示文案

    提交
    还有2条回复
    收起所有回复
  • 你要在提问、大模型思考的时候截图,那个时候gpu快撑爆了。

    校验提示文案

    提交
    是吗?我明天试试,部署了本地,也 api接入了满血版,对比下差别。

    校验提示文案

    提交
    运行的时候显卡功耗是满载吗?

    校验提示文案

    提交
    还有10条回复
    收起所有回复
  • 比如我要deepseek帮我写支部书记述职报告,公共版就不干了,靠本地部署的32b才搞定

    校验提示文案

    提交
    在线的审查多,本地的自由一点

    校验提示文案

    提交
    本地部署后搞投喂才能写吗?

    校验提示文案

    提交
    还有7条回复
    收起所有回复
  • 蒸馏的小参数版本和原体差距巨大

    校验提示文案

    提交
    主要看自己要处理的问题复杂程度,当然本地部署 7b,同时 api 接入满血 r1 和 v3,混用也行

    校验提示文案

    提交
    现在deepseek官方的api已经拿不到了。请问你是通过什么平台在用?

    校验提示文案

    提交
    还有2条回复
    收起所有回复
  • 下载个ollama 都困难重重 [小怒] 对中文互联网真是失望透了

    校验提示文案

    提交
    ollama 不是直接可以下载吗

    校验提示文案

    提交
    收起所有回复
  • 7b回答都是错的,32b还好,只是输出很慢,一个问题5分钟回答

    校验提示文案

    提交
    7b 的推理能力确实不行

    校验提示文案

    提交
    收起所有回复
  • 本地的感觉不智能

    校验提示文案

    提交
    本地是让不同行业训练自己独特的 ai,通用问题直接用 app ,那是满血 v3,和 满血 r1 一样是 671b,最聪明

    校验提示文案

    提交
    聪明的经常忙不过来🤣

    校验提示文案

    提交
    还有3条回复
    收起所有回复
  • 很多人都是三分钟的热情

    校验提示文案

    提交
    那肯定,就是想玩玩,和 nas 一样

    校验提示文案

    提交
    所以我就是拿来用用,前几天用他来算命还挺有意思的

    校验提示文案

    提交
    还有1条回复
    收起所有回复
  • 正准备学习一下本地部署呢,多讲讲呗

    校验提示文案

    提交
    你搜下,很简单,教程也很多,所以我没没细写,只分享了一些思考。

    校验提示文案

    提交
    收起所有回复
  • 所以如果训练企业独特的AI, 7b ~70b有区别吗?

    校验提示文案

    提交
    应该是有的,但是我察觉不到,我要处理的问题,7b 和满血 r1 给出来的答案一样。😂

    校验提示文案

    提交
    我装了8B,14B以及硅基流动的满血API,同一个问题,1117117是素数吗?三种完全不同的思维解答方式,打个比方,8B没有严谨的思维逻辑,但是可以正确的的说出答案。14B则是用排除法一个一个硬算,类似于不会高等数学的初中生,满血版的则是使用高等数学函数运算的逻辑思维,给予正确的答案。

    校验提示文案

    提交
    还有5条回复
    收起所有回复
  • 7b、8b的模型能在移动端跑的话,对于应用场景就开阔了

    校验提示文案

    提交
    估计不久就会有移动端的大模型,现在手机内存,存储,cpu 都很强

    校验提示文案

    提交
    但是功耗是瓶颈,

    校验提示文案

    提交
    还有1条回复
    收起所有回复
  • 不敢部署,配置太低了 [喜极而泣]

    校验提示文案

    提交
    直接用 api 的满血版,一点点钱

    校验提示文案

    提交
    收起所有回复
  • 本地除非你有300G显存 不然和网页版水平差距巨大

    校验提示文案

    提交
    对比了 api 的 v3 和 r1,确实比本地 7b 聪明很多

    校验提示文案

    提交
    凡人本地部署70b到头了,但也用不上300g显存那么夸张

    校验提示文案

    提交
    还有1条回复
    收起所有回复
  • 就想知道最优用什么配置电脑 [皱眉] [皱眉]

    校验提示文案

    提交
    最优?顺畅跑 671b 的配置太高了,不是个人玩得起的。

    校验提示文案

    提交
    先搜搜H100这样算力卡一张多少钱再来谈最优,不止要一张哦

    校验提示文案

    提交
    还有1条回复
    收起所有回复
  • 蒸馏的都不是r1,你们装好看看model,要么是qwen要么是llm

    校验提示文案

    提交
    对,8b 和 70b 是 llama,另外几个是 qwen

    校验提示文案

    提交
    收起所有回复
  • 我想建立个人知识库,同时保证资料不外传,请问怎么做比较好?

    校验提示文案

    提交
    Cherry studio 或者 anythingllm 还有其他的可视化,再配合本地部署肯定不外露,但是 api 的,不知道会不会漏

    校验提示文案

    提交
    收起所有回复
  • 空间不足…

    校验提示文案

    提交
    没占多少空间

    校验提示文案

    提交
    收起所有回复
  • 有点没搞懂,本地部署模型会自学习吗?比如我有很多特定行业的资料,怎么样用这些资料去训练呢?

    校验提示文案

    提交
    用 anythingllm 或者 Cherry studio,自带知识库,可以直接上传自己的资料,和 ai 交互时候可以让他读取

    校验提示文案

    提交
    尝试了,就是token太浪费了 [喜极而泣]

    校验提示文案

    提交
    收起所有回复
  • 布置了,就我的配置跑起来反馈挺傻 [观察]

    校验提示文案

    提交
    7 b 和 14b 都试了,傻并且犟

    校验提示文案

    提交
    收起所有回复
提示信息

取消
确认
评论举报

相关文章推荐

更多精彩文章
更多精彩文章
最新文章 热门文章
458
扫一下,分享更方便,购买更轻松