Mac mini部署DeepSeek,70b有点吃力,32b刚好用

2025-02-15 09:42:19 30点赞 165收藏 32评论

最近DeepSeek热度出圈,导致app用的也非常卡。满血联网版本只能找各种别的接入app可用。

想着要不就本地部署吧!普通笔记本显卡都不行,好在家中还有MAC MINI。

Mac mini部署DeepSeek,70b有点吃力,32b刚好用

小试牛刀,三步搞定!

环境准备

- 设备型号:Mac mini 2024(Apple M4 Pro芯片 + 64GB统一内存

- 系统要求:macOS Sonoma 14.4+(需启用Metal GPU加速)

- 存储建议:至少50GB可用空间(推荐外接SSD存放模型)

步骤1,安装ollama mac

Mac mini部署DeepSeek,70b有点吃力,32b刚好用

步骤2:在终端环境,拉取DeepSeek模型

Mac mini部署DeepSeek,70b有点吃力,32b刚好用

步骤3:运行模型

为了提升使用体验,可以通过安装Chatbox AI进行可视化搭建,这样你就能更加直观地与DeepSeek进行交互,而不需要每次都通过命令行操作。

Mac mini部署DeepSeek,70b有点吃力,32b刚好用

Mac mini M4 Pro满血+64G内存,跑70b模型确实有点吃力,但32b刚好够用。对于硬盘空间紧张的用户,可以考虑把模型迁移到SSD上。

顺便提一句,Mac mini 2024年款的Apple M4 Pro跑起来还是挺流畅的,Macintosh HD上跑32b模型完全没问题。如果你也想试试,说不定也能轻松搞定!

另外蒸馏版本(如7B模型)对硬件要求较低,普通电脑或Mac Mini(M1芯片)可以运行。如果你不想折腾本地部署,可以使用第三方服务来优化DeepSeek的使用体验。

用Deepseek生成各种描述,然后发给制图,生产视频,生产文案,都是非常好用的。

AI确实可以极大提高生产效率,人就是要去创新,掌握方向,调整文笔了。而要产生精品的话,就需要反复尝试,反复筛选了。

所以真正的小说家,插画师,视频制作的人都会说还不如自己从头做。而作为这些文化产品的外行,就是反复尝试,大量筛选,找出精品,让市场来验证。

也许这就是这波人工智能的原理吧。

开工返程,带点Deepseek吧,这个春节给中国最大的改变!

作者声明本文无利益相关,欢迎值友理性交流,和谐讨论~

展开 收起
32评论

  • 精彩
  • 最新
  • 我的mbp M4pro48G满血版 跑32b挺稳定的 体感速度类似于gpt3.5 挺满意的 就是不知道128G跑规格更好高的模型咋样 [高兴]

    校验提示文案

    提交
    跑这个能干嘛,自己跟ai聊天?

    校验提示文案

    提交
    0延迟 可以自己定制一些个性化的东西

    校验提示文案

    提交
    收起所有回复
  • 贴几个命令就行了?怀疑你这台是丐版M4,为了推链接而已 [皱眉]

    校验提示文案

    提交
    就是纯p贴。

    校验提示文案

    提交
    大妈现在就是疯狂水原创,但是值友评论却一个比一个专业。感觉这个平台快要配不上这些用户了

    校验提示文案

    提交
    还有1条回复
    收起所有回复
  • 我也是64g的mac,推理2分钟才有结果…

    校验提示文案

    提交
  • 64g,8g显卡几乎所有机器都可以部署,关键mac上的推理速度能到多少.

    校验提示文案

    提交
    推理速度还不错,调用MLX的话比N卡cuda慢一点,但是比cpu avx2的要快

    校验提示文案

    提交
    8g显卡能跑啥版本?7b的么

    校验提示文案

    提交
    还有2条回复
    收起所有回复
  • 你就说32b 的一秒吐几个 token 吧

    校验提示文案

    提交
    在十代I5的台式机上,没有独立显卡,13b思考要4到5分钟

    校验提示文案

    提交
    这东西全靠显卡。cpu不占优势

    校验提示文案

    提交
    收起所有回复
  • 用m4pro 64g 1Tb跑了下deepseek r1:32b要稍等下才出结果

    校验提示文案

    提交
    咋样了,老哥?

    校验提示文案

    提交
    跑32b速度可以接受,但是本地的回答不太好

    校验提示文案

    提交
    收起所有回复
  • 本地的答案基本都是错的 不要用

    校验提示文案

    提交
  • 670b以下都是蒸馏模型

    校验提示文案

    提交
    是的 蒸馏别人的模型。而非deepseek

    校验提示文案

    提交
    不蒸馏部署不起啊 [皱眉]

    校验提示文案

    提交
    收起所有回复
  • 安装ollama mac,不是直接下了安装就是自启动吗?

    校验提示文案

    提交
    不自启动呀 需要你点击图片闪一下才会启动。

    校验提示文案

    提交
    收起所有回复
  • [高兴] 我还是用api吧,又没有本地的隐私需求,我们公司内也部了满血的

    校验提示文案

    提交
  • 建议接api,也不贵吧

    校验提示文案

    提交
  • 24G内存mac mini可以吗

    校验提示文案

    提交
  • 别p图了,70b 要40g显存,我48g都能无交换勉强跑,你64g跑不了?

    校验提示文案

    提交
  • 纯折腾毫无意义

    校验提示文案

    提交
  • 怎么把模型安装到移动硬盘?

    校验提示文案

    提交
  • 这东西全靠显卡。cpu不占优势

    校验提示文案

    提交
提示信息

取消
确认
评论举报

相关文章推荐

更多精彩文章
更多精彩文章
相关好价
最新文章 热门文章
165
扫一下,分享更方便,购买更轻松