结合Deepseek,喂养你自己的本地知识库!

2025-02-06 11:54:34 74点赞 816收藏 45评论

一、写在前面

前些日子写了一篇关于 Deepseek-R1 本地部署的文章

反响平平结合Deepseek,喂养你自己的本地知识库!

可能对大家来说,这个本地部署的意义并不是很大,上篇文章已经写完了,但是有部分数据可能缺失,这里先给补充一下,毕竟两篇文章是互补的关系。

评论区有人问到各个模型量级所对应的系统配置需求,这里统一回复一下:

ollama run deepseek-r1:5b(建议4G-8G显存)

ollama run deepseek-r1:7b(建议8G显存)

ollama run deepseek-r1:8b(建议8G显存)

ollama run deepseek-r1:14b(建议12G显存)

ollama run deepseek-r1:32b(建议24G显存)

ollama run deepseek-r1:70b(建议32G以上显存)

大家可以根据自己的实际情况进行配置啦!结合Deepseek,喂养你自己的本地知识库!

二、本地部署的意义

以目前 AI 发展的程度,以我纯主观的判断,对于个人来说,最最重要的功能就属你的私人知识库了,因为确实有些数据是无法上传公网投喂给 AI 的,里面可能涉及到一些私人信息或者说你的个人风格,AI 的模仿能力我相信但凡你看到这儿的应该都能清楚。

没有人希望互联网上出现第二个你吧结合Deepseek,喂养你自己的本地知识库!

听起来是不是挺恐怖的?所以保护好私人数据啊!

话不多说,直接上干货!

三、利用 AnythingLLM 搭建本地 AI 知识库

首先打开 AnythingLLM 的官网下载安装包,很多人推荐 Docker 的安装方式,这个其实看个人需求了,本次教程为 Windows 下的安装与使用。

结合Deepseek,喂养你自己的本地知识库!

网站是纯英文的,没有中文界面,但是也没有复杂的信息,直接点击 Download for desktop 即可,受限于网络原因,下载可能会比较慢,静静等待即可。

下载完成后点击安装包进行安装,一路下一步即可,无需复杂配置。

安装完成后双击打开

结合Deepseek,喂养你自己的本地知识库!

配置新工作区

结合Deepseek,喂养你自己的本地知识库!

命名随意

结合Deepseek,喂养你自己的本地知识库!

点击工作区齿轮旁边的上传按钮,将你自己的知识文档进行上传

结合Deepseek,喂养你自己的本地知识库!

直接将文档拖放至此,上传完成后勾选文档,并点击 Move to Workspace

结合Deepseek,喂养你自己的本地知识库!

之后点击下方的 Save and Embed 即可

结合Deepseek,喂养你自己的本地知识库!

错误

你可能会看到如下错误信息

Forbidden access to file: "https://cdn.useanything.com/support/models/Xenova/all-MiniLM-L6-v2/tokenizer.json

结合Deepseek,喂养你自己的本地知识库!

不要着急,这里需要联网获取分词数据,就意味着你需要链接国际互联网,局域网是不行的结合Deepseek,喂养你自己的本地知识库!

连好之后,就会出现如下成功提示

结合Deepseek,喂养你自己的本地知识库!

这时候,你的知识库信息就被记录完成了

问答

关闭上传页面,回到工作区,点击齿轮按钮,将聊天设置中的聊天模式设置为查询。

结合Deepseek,喂养你自己的本地知识库!

建立新的聊天试一下

结合Deepseek,喂养你自己的本地知识库!

唉?怎么这样?

别急,回到上传页面,ding一下你刚刚上传的文档

结合Deepseek,喂养你自己的本地知识库!

再回来试试

结合Deepseek,喂养你自己的本地知识库!

好像成了啊,不过这个貌似也可以在互联网查询得到,换个问题

结合Deepseek,喂养你自己的本地知识库!

呦!呦!呦!没问题了,对比下互联网数据

结合Deepseek,喂养你自己的本地知识库!

确实是我上传的信息,至此,你自己的知识库就已经搭建完成了

最最重要的是,它可以模糊搜索,你只需要平时收集数据就好了,他会负责吃掉你的所有知识,然后慢慢消化,并时刻准备着反哺给你,是不是很Nice!

四、尾巴

AI 对于人类文明的意义还比较模糊,但是目前来看,他确实可以在最大程度上解放人类的重复性脑力劳动,它只需要一些简单直白的文字就可以把你所需要的信息表述出来。

虽然有时候,它的回复可能有些无厘头,但是当他拥有了记忆之后,他将会比这世上任何一种东西都了解你,清楚你的想法。

合理使用AI

作者声明本文无利益相关,欢迎值友理性交流,和谐讨论~

展开 收起
45评论

  • 精彩
  • 最新
  • 本地没有好的硬件平台也不行,摩尔线程已经适配ds,突然感觉这可能是国产显卡的一个机会,做好优化的话,独立ai中心感觉不远了

    校验提示文案

    提交
    是滴是滴,这个时候就是要百花齐放,拒绝一家独大 [高兴]

    校验提示文案

    提交
    收起所有回复
  • #值得一评#最近这个软件很火,自己也下载了一个,但是最近感觉他们的网络不是特别的稳定。还有就是说出来的答案解析,有部分也是错的。还是得多加锻炼和驯化。

    校验提示文案

    提交
  • 这个报错很挑网,就算llm完整安装也会报,ollama的导入器或许更好用

    校验提示文案

    提交
    反正有科学的办法就行,哈哈哈哈

    校验提示文案

    提交
    有没有不用梯子的办法?

    校验提示文案

    提交
    收起所有回复
  • 我是docker安装,装好之后输入局域网ollama地址,能自动获取到模型明白,但是点下一步提示Failed to save LLM settings:Failed to fetch,说连不上又能自动获取模型明白,说连得上又无法下一步

    校验提示文案

    提交
  • 咨询一下,“Move to Workspace”这一步时,是传到本地工作空间,还是上传到这个软件的云上?本地部署应该不是传到外网上吧

    校验提示文案

    提交
    这一步文件还是留在本地电脑的,因为实际上传流量并没有增加,我的文件实际上有十几兆,所以判断只是下载切割文件的,而且只有第一次会有联网

    校验提示文案

    提交
    谢谢

    校验提示文案

    提交
    还有2条回复
    收起所有回复
  • AnythingLLM局域网能安装使用吗

    校验提示文案

    提交
    安装使用没有问题,若是要上传自己的知识库,第一次需要联网下载分词文件,之后就顺畅了

    校验提示文案

    提交
    需要梯子吗?

    校验提示文案

    提交
    还有1条回复
    收起所有回复
  • 银河麒麟怎么部署?

    校验提示文案

    提交
    Linux的方式整体上来说跟windows基本是大差不差的,步骤基本一致 [皱眉]

    校验提示文案

    提交
    收起所有回复
  • 我将个制度汇编文件和一个数据库规范上传给anythingLLM,发现它只识别很小的一部分,也不连续。划分模型选默认或ollama中的qwen、deepseek都是这样。请问如何解决

    校验提示文案

    提交
    我也发现这个问题了,下一步打算试一下ranflow和fastgpt,看下是不是框架的问题,anythingllm查询的能力确实弱于这俩,但是这俩的安装比较麻烦 [皱眉]

    校验提示文案

    提交
    我试过阿里云在线版本的千问能识别的更好,而且识别度和本地8B的ds更本不能比。不知道满血r1会不会好点。不过也听说知识库需要向量化切片才能被有效识别,否则只能去检索内容。体验非常差。

    校验提示文案

    提交
    收起所有回复
  • ding是啥操作?

    校验提示文案

    提交
    就是文件后面有个小钉子图标 [皱眉]

    校验提示文案

    提交
    哎嗨。 [ok了]

    校验提示文案

    提交
    收起所有回复
  • 梯子也喘不上去

    校验提示文案

    提交
    ollama目前还不需要魔法 [皱眉]

    校验提示文案

    提交
    收起所有回复
  • 这AI不是叫dickseep吗,我看抖音很多跟风的在夸🤭

    校验提示文案

    提交
    但就能力来说,百度岌岌可危,最大的竞争对手是百度 [皱眉]

    校验提示文案

    提交
    收起所有回复
  • 嘤特尔a770已经玩ai很久了,16g显存跑14B的模型够用,最近也在搭个人知识库,用的也是anythingllm,就是不知道喂点啥好 [惊喜]

    校验提示文案

    提交
    我刚开始也是想着把自己的之前记录的知识点喂给它,后来发现,我记录的大部分知识点其实网上已经有,只是不容易记忆和搜索,有了AI之后,他的本身的知识库就已经能够满足大部分需求了,只有少量自己想出来的东西是需要喂给它的

    校验提示文案

    提交
    收起所有回复
  • #值得一评# ai这两年的发展实在太快太快了,给我们的工作和生活带来不少便利的同时,也有点担心未来孩子们的就业问题,门槛会越来越高。

    校验提示文案

    提交
  • 干过,但是放弃了,主要是,现在这个阶段,已经没办法区分哪些数据必须要本地,哪些数据无所谓了,感觉自己啥玩意都能泄露,干脆裸了

    校验提示文案

    提交
  • 不是上下文只有64k吗?怎能形成自己的知识库啊,64k连一本中篇小说都放不下

    校验提示文案

    提交
  • #值得一评# 现在还在浅显的用着,正有这方面的考虑就刷到希尔宾文章了,值得好好看看!

    校验提示文案

    提交
  • #值得一评# 日常工作生活的好帮手,ai技术全能了!

    校验提示文案

    提交
  • 个人知识库,用这么重的服务程序?你这是知识库还是干活,大炮打蚊子

    校验提示文案

    提交
  • 知识库可以是扫描版文件吗?还是有特殊的要求

    校验提示文案

    提交
    可以支持PDF,需要的话还会进行文本识别,但实际效果可能差强人意,我在尝试更强大一些的ragflow

    校验提示文案

    提交
    收起所有回复
  • 我安装好ollama,没挂梯子,直接Pulling 14b版本,下载到50%以上后进度反而数次倒退,然后就EOF错误了,我再次运行ollama run deepseek-r1:14b,都直接提示internal error,是不是要把已下载的缓存删除才能再试?怎么解决呢 [期待]

    校验提示文案

    提交
    清空了模型所在的文件夹再重新运行一次试试看

    校验提示文案

    提交
    收起所有回复
提示信息

取消
确认
评论举报

相关文章推荐

更多精彩文章
更多精彩文章
最新文章 热门文章
816
扫一下,分享更方便,购买更轻松