今天,正式劝你不要本地部署DeepSeek R1了!1.5b到8b免费用!

2025-02-13 13:55:39 68点赞 616收藏 120评论

DeepSeek R1本地部署的话题太多了,最近一周多,我们在6G显存,32G内存,12代i5的主机上先后部署了7b和14b两个版本,运行速度能接受,但是特定信息投喂后,和api接入的v3版本满血R1版本进行输出结果对比结果差强人意,7b和14b等都显得“不太聪明”

图片图片

所以,确实是生产需要的话,直接上api版的V3和R1才行。配合知识库,是可以完成个人或者小团队的生产力需求。

就是要花点小钱,DeepSeek官方的api赠费是10块钱,硅基流动的api赠费是14块钱,有邀请策略,不管你是否从某个邀请链接去注册,你都有14的赠费。这只是保障你能正常体验的一点点“体验金”,大量使用还是要计算成本。

图片图片

赠送14块的说法不准确,准确说法是邀请和注册都赠送的是2000万Tokens,按照Qwen2.5-14B-Instruct 模型单价折合下来是14元。当然这不是重点,今天是突然发现,硅基流动的模型居然上线1.5b,7b,8b,14b,32b,70b这些“蒸馏”过的模型。

图片图片

并且1.5b,7b,8b这三个是免费使用的!如果你想测试下这三个小版本有多么“不聪明”而你电脑硬件又不够,那直接用api方式尝试即可!反正不要钱!

图片图片

而百万tokend单价 14b只要0.7元,32b只要1.26元,70b只要4.13元。体验还是测试送的金额都足够你玩好多天。如果你对这价格没感觉,可对比满血的DeepSeek R1价格16元,官方的V3价格则是8元!

图片图片

此外,看到DeepSeek的多模态模型deepseek-ai/Janus-Pro-7B目前是限免,就体验了下文生图,几乎没法用,文生图估计得满血的才行。

回到主题“劝你不要本地部署DeepSeek R1”其实是个偷换概念的说法。也是网上各大博主有动机的说辞。真正要部署DeepSeek R1完整版本,并达到流畅可用状态,那不是一个个人电脑能解决的,基本得百万级做计算的服务器才行。

而通过Qwen和LLama进行“蒸馏“的小模型普遍认为32b以上才比较聪明,而1.5b到14b这几个版本一点都不聪明,比如14b,一篇人可以读懂的文章,它理解和输出的答案明显有误,并且一再纠正也无法改变它的思想,R1和V3都能一次输出正确的结论。

所以,已经部署了14b以下的,体验过了玩玩就行,真正要能辅助工作,必须上满血的R1和V3。

作者声明本文无利益相关,欢迎值友理性交流,和谐讨论~

展开 收起
120评论

  • 精彩
  • 最新
  • 很多数据不能联网,且本地部署不仅可以配置工作流,还可以做数据投喂,真正用起来,比在线强多了。如果deepseek只是在线有用,美国也不会那么震惊了。(在线ai服务早就有了)

    校验提示文案

    提交
    对,是这样

    校验提示文案

    提交
    你的数据投喂根本不值钱,建议先去学习下大模型怎么训练的,看不懂可以直接ds总结

    校验提示文案

    提交
    还有7条回复
    收起所有回复
  • 这种劝完全没必要,本地小规模模型在很多特定场景有非常大的作用。国有工业体系内部基本上都不允许连接互联网,甚至禁用电脑的网卡,尤其是军工系统,办公场所手机都不让带进去。本地部署llm可以极大提高这类人员的工作效率。我个人经验,部署llm后代码开发效率倍增。

    校验提示文案

    提交
    但凡严禁联网并且有规模的组织,实力不容小觑,不在这篇文章劝说范围内,能劝的仅仅是个人想用自己电脑部署 7b,8b 都可能跑不动,还想知道 7b,8b够不够聪明的人,现在可以接 api 直接免费测试了。

    校验提示文案

    提交
    那种禁网的企业,都有技术和能力开发自己的ai。不禁网的企业,随便的免费ai就足够了。ai生产力没有想得那么大

    校验提示文案

    提交
    还有9条回复
    收起所有回复
  • 本地部署了deepseek的32b和70b,对比硅基的满血R1,简单测试“以BBC阴阳怪气语气”写一篇关于中芯财报的新闻稿:从生成质量上看满血R1明显高于小尺寸蒸馏版,但32b和70b没有本质区别;同时,由于70b蒸馏自llama,在某些场景的中文推理是不如蒸馏自Qwen的30b的。个人认为本地部署30b是质量比较合适的尺寸。

    校验提示文案

    提交
    感谢分享,我硬件不足以测试这两个高版本,看来穷人还是 api 合适

    校验提示文案

    提交
    我用了32b的r1,本地投喂一个文档,让它找一个信息,它傻里傻气的怎么找都不对,联网满血版,一次就找对了,我看32B也不咋地,我还以为70b够用了呢,你这么一说看来70B依然不行~

    校验提示文案

    提交
    还有4条回复
    收起所有回复
  • 单纯说编码场景,deepseek coder V2 lite还是可以的。LM Studio可以GPU和CPU混合跑,7840H能用上GPU加速。7 tokens/s,能用。

    校验提示文案

    提交
  • 8b用起来傻傻的,特别是玩一些情景时语气很生硬,14b和32b就好很多

    校验提示文案

    提交
    主要是没对比就没伤害,一边用 r1 满血版一边体验这些蒸馏小模型,就越来越嫌弃

    校验提示文案

    提交
    32b其实还好,不要问的太复杂基本上够用,就是速度太慢了,4070跑只有3t/s左右,14b的话还行有10t/s左右

    校验提示文案

    提交
    还有1条回复
    收起所有回复
  • 这东西公司部署关键目的就是要数据保密

    校验提示文案

    提交
    公司舍得成本,那肯定部署更大的,几十万到几百万都有对应设备。个人,多数只是协助工作,辅助工作,保密数据没那么多

    校验提示文案

    提交
    收起所有回复
  • 公司卖了集群 用着挺有意思 [高兴] 比接口快的多

    校验提示文案

    提交
    大公司就是厉害 [棒棒哒]

    校验提示文案

    提交
    收起所有回复
  • 本来就不是r1,被ollama给混淆了,一堆人都说本地部署r1 [尴尬]

    校验提示文案

    提交
    是这么回事,就是用 Qwen 和 Llama 蒸馏的小版本,很犟还不聪明

    校验提示文案

    提交
    收起所有回复
  • 目前充值入口关闭,我注册了API是0余额,无法使用api呀

    校验提示文案

    提交
    sd 官方和硅基都有赠送,硅基可以充值我充了,你说的哪里?

    校验提示文案

    提交
    收起所有回复
  • 有没有办法单机电脑部署只是写作用

    校验提示文案

    提交
    电脑有 6G 显存就可部署 8b 以下版本,到处是教程

    校验提示文案

    提交
    下载个ollama,一条命令傻瓜式部署

    校验提示文案

    提交
    还有2条回复
    收起所有回复
  • anythingllm投喂yyds

    校验提示文案

    提交
    对的,本地一定得投喂才有意义

    校验提示文案

    提交
    收起所有回复
  • 不能画瑟瑟不想要

    校验提示文案

    提交
    那你用 专门画图的 本地 sd 么

    校验提示文案

    提交
    收起所有回复
  • 那我的32b的如何?

    校验提示文案

    提交
    32b 好像比较聪明了,我本机只能跑到 14b,就没测试 32b

    校验提示文案

    提交
    数学奥数不行

    校验提示文案

    提交
    收起所有回复
  • 虽然但是 差强人意 意思是 大体上使人满意 是褒义词

    校验提示文案

    提交
    哈哈,也可以解读为大体上让人满意,具体看让它解答什么问题

    校验提示文案

    提交
    收起所有回复
  • 自己部署,要训练吗?单机部署,写作素材还能搜索到?

    校验提示文案

    提交
    可以通过知识库方式投喂,ai输出时候会学习你提供的资料

    校验提示文案

    提交
    就想让他在我的知识库里找东西,回答问题,布置多少B可以了呢?

    校验提示文案

    提交
    还有3条回复
    收起所有回复
  • 怎么训练呢

    校验提示文案

    提交
    你搜 deepseek 知识库 可视化

    校验提示文案

    提交
    收起所有回复
  • 你们都拿ds做什么??

    校验提示文案

    提交
    垂直细分行业,辅助文字内容创作

    校验提示文案

    提交
    收起所有回复
  • 荣耀手机智能体配置了R1尝鲜版

    校验提示文案

    提交
    动作真快!

    校验提示文案

    提交
    收起所有回复
  • 除了671b的,其余都是假的,要么quen模型要么llama的,除非是671b的量化版本 [邪恶]

    校验提示文案

    提交
    你说的太无情了💔确实如此👍

    校验提示文案

    提交
    671b需要什么样的硬件?

    校验提示文案

    提交
    还有1条回复
    收起所有回复
  • 硅基流动的生成内容没结束就中断了,有长度限制。还是腾讯阿里的体验好,腾讯的r1满血免费到25号

    校验提示文案

    提交
    我目前生成的短,还没发现,估计陆续有大量提供付费 api 的企业,谁家稳定用谁家

    校验提示文案

    提交
    收起所有回复
提示信息

取消
确认
评论举报

相关文章推荐

更多精彩文章
更多精彩文章
最新文章 热门文章
616
扫一下,分享更方便,购买更轻松