什么值得买App下载 App ›
连续签到专享现金活动

用本地AI打造个人知识库:DeepSeek + Cherry Studio 实战指南

25-02-10

本地部署 deepseek,轻松上手个人 AI 知识库

经常看我的朋友都知道,我其实做了很多有关软路由或者虚拟机相关的教程。在教程的制作中,一个合适的Markdown 笔记管理软件,是必不可少的。 从开始到现在,基本上积攒了上百篇素材。

正好趁着现在大火的推理模型,来看一看,是否满足我日常查找的需求(不满足?)

硬件准备

丐版 mac mini m4 去年国补的时候 4198 入的万兆款。

软件准备

  • ollama

  • cherry studio 这两个软件都是 win/mac 双版本,有很好的可视化界面,ollama部署可能只需要一条命令,deepseek 出这么久了,部署的话,大家应该都很容易上手,我这里在特别说明一下,方便第一次上手本地部署的朋友。

所用模型

推理模型:deepseek-r1:8b 基本上这个模型还是非常流畅的 20token/s,14b参数的丐版 mac 也能跑,速度减半。使用下来,感觉两个模型,基本上对我的文字总结来说,大差不差,都可以用。

嵌入模型:bge-m3 这个模型据说对中文支持较好,使用下来总体还可以,用来负责对我的文档进行拆分,方便模型去理解。

模型部署

安装 ollama 后,打开终端,输入以下两个命令

ollama run deepseek-r1:8b

用本地AI打造个人知识库:DeepSeek + Cherry Studio 实战指南

ollama run deepseek-r1:14b

如果配置比较高的话,推荐部署更多参数的模型。

用本地AI打造个人知识库:DeepSeek + Cherry Studio 实战指南

最后的一点可能下载有点慢,大家耐心等待 在安装完成后,可以直接对话,可以看到,本地 deepseek 已经部署成功了。

用本地AI打造个人知识库:DeepSeek + Cherry Studio 实战指南

嵌入模型部署

ollama pull bge-m3

AI 知识库搭建

这里采用Cherry Studio,中文非常友好,而且上线了知识库功能,支持直接引用本地文件夹。

选择模型

在模型选择上,除了本地的 ollama 以外,其他我全部都不勾选。

用本地AI打造个人知识库:DeepSeek + Cherry Studio 实战指南

添加模型

如果这里你在 ollama 中添加了多个模型,这里也会显示多个模型

用本地AI打造个人知识库:DeepSeek + Cherry Studio 实战指南

添加完成

用本地AI打造个人知识库:DeepSeek + Cherry Studio 实战指南

知识库添加

因为obsidian 的md 格式文档,基本直接引用整个文件夹,速度还是很快的。

用本地AI打造个人知识库:DeepSeek + Cherry Studio 实战指南

知识库选择

引用完成后,需要在对话助手中,将引用的知识库勾选上。

用本地AI打造个人知识库:DeepSeek + Cherry Studio 实战指南

真实模拟

这时候,就可以看到,已经将我的知识库应用到回答当中了。

用本地AI打造个人知识库:DeepSeek + Cherry Studio 实战指南

至此,初级的个人 AI 知识库已经搭建完毕了。 想折腾的可以玩玩,但是真用的话,还是建议直接使用官方的 api。 以上

作者声明本文无利益相关,欢迎值友理性交流,和谐讨论~

评论 10

折腾这快乐着折腾

【亲测】但不理想,只翻查了几条知识库里的,就不继续找了,若一开始的文档很长,连其他文件都不去找了,命中结果低。(我用的是deepseek14b的本地模型 )

浙江
孔昊天的折腾日记

对,感觉 14b 的推理模型,能满足基础的材料查找吧这个吧,可能参数哪里设置的有问题就很奇怪,不过 mac 的大模型用着还是很不错的。

四川
我中奖了么

完善后知识库的界面是怎样的呢,平常用的语雀,感觉界面习惯后还是挺不错的

广东
值友2108555769用户头像挂件

14b还是太弱了! 671b又太夸张!本地想用的舒心除了氪金没有出路!要是不想氪金太厉害还是买个api用吧,但是现在又暂停购买好焦虑!

黑龙江
懂不懂

本地部署算了。还是推荐硅基流动的api吧,目前注册给14块钱也能用一段了,充值也没那么贵,个人调用花销有限

天津
sabin34

知识库可是是扫描版文件吗?还是有什么具体要求

浙江
风夜月影

为什么我的部署不了本地知识库

河南

没有更多了