打工人AI助力的最优解，详细攻略—个人/企业专属知识库搭建

打工人AI的最优解，我觉得是这个用法！

最近两个月随着国产语言大模型DeepSeek的兴起，AI也成了各大媒体的热门话题。各路自媒体更是争相报道抢占流量。然而一直关注及使用AI助力的打工人应该知道，部分自媒体博主真的吹过头了。今天锤爆老美，明天震惊世界，天天秦始皇嚼电线（赢麻了）…简直宇宙第一了。我就非常反感这类自媒体，尤其是我老板转发过来的…

吐槽归吐槽，最近我还真发现一个比较好的AI落地方案，能为打工人提高效率，准时下班。我们早就听说DeepSeek（以下简称DS）的推理能力强悍，能够回答复杂的问题，还会显示推理过程，让我们了解DS是如何解答问题的。那么，把DS的推理能力与公司的专业文档结合起来，不就多了个能够帮你查找资料，分析整理数据的小助理么？

以我们公司为例，客服工作很多时候重复而繁琐，有时需要调取专业知识来解答用户疑问。传统基于文档搜索的方式已经非常落后，如果能在这方面得到AI的助力，将大大提高工作效率。通过学习，我了解到RAG本地知识库的工作原理和搭建方案。这不正式我一直在寻找的解决方案吗？

以下是DS的回答：

企业私有的知识库，尤其是有保密需求的资料，还是储存在本地比较放心。因此，本地部署语言大模型，能够更好地保障数据安全，不泄露到互联网上。RAG对于企业另一个非常友好的特性是无需训练模型，专业知识只需作为外挂文档，经由embedding模型，分段存储在数据库即可。处理一个10页左右的文档也就几秒钟的事。而这些应用到的模型，也无需企业的任何训练操作，只需调取数据库中的相关片段，经Chat模型的推理及重新组织语句，就能给出答案。模型有更新时，也只需替换原有模型，就能实现更新。实在是方便得很~

查找了一轮教程攻略，就开始动手部署了。一开始对软件框架的选型是：Ollama（运行DeepSeek-R1）+ RagFlow（知识库框架+embedding、rerank模型），后面发现坑了，推到重来，重新选择了Dify框架。最主要的原因是RAGFlow对配置要求高，基于Docker运行的，容器需要分配16G内存才能很好的运行。我的电脑一共就16G内存，分配了8G，跑是勉强能跑，但问一个问题就得重启所有服务一次…而且部署的是DS的7b模型，感觉推理能力没有预期的好。

下面讲讲后来Dify的部署过程：

一、下载安装Ollama+DeepSeek模型

1、下载安装Ollama框架

补：这里可能还要前置安装Python，很简单的，下载安装就行。

Ollama官方网址：https://ollama.com/ 首页就一个醒目的下载按钮，下载对应自己系统的版本。

安装过程没啥需要注意的地方，一直下一步直到完成。安装完成后，打开PowerShell，键入ollama回车，得到这结果，就说明安装成功了。

2、下载运行DeepSeek-R1模型

回到ollama网站，进入主菜单上的model页面，可以看到框架支持的所有模型，DS赫然在列。我们点进去。在页面下拉框选择7b模型，右边会出现：ollama run deepseek-r1:7b 命令（默认显示没有 ":7b"，重新选一次会出现，或在命令行里手动加上。这里我们直接点右边小图标复制命令。

转到powershell，按右键粘贴命令，回车。程序会自动从Ollama的服务器下载 r1-7b模型，大小约为4.7G，需要一些时间。

下载完成后，页面出现"Send a message (/？for help）表示模型已经成功运行，我们可以向AI提问了。

我问何方神圣？它不会，换回正常点的问法，得到了正确的回答。

至此，Ollama安装及模型的下载运行就完成了。

二、安装Dify框架

由于Dify是通过Docker安装运行的，我们需要先下载并安装Docker。

1、安装Docker

转到Docker官网https://www.docker.com/，选择对应自己系统的版本，下载并安装。

安装完成后，运行Docker Desktop程序，然后可以最小化了它，我们继续下一步操作。

没有网络条件的同学请自行搜索docker换源教程。

2、下载运行Dify

访问Dify官网：https://dify.ai/zh，点击Github图标，进入代码仓库。

确认是main分支，点击Code按钮，在下拉菜单中选择下载ZIP文件。下载到本地后，解压到合适的文件夹。

修改配置文件

进入Dify文件夹中的docker文件夹，找到.env.sample文件，复制一份，用写字板编辑。

在最后加上这段代码：

#启用自定义模型

CUSTOM_MODEL_ENABLED=true

#指定 ollama 的 API 地址(根据郎署环境词整 IP)

OLLAMA_API_BASE_URL=host.docker.internal:11434

把文件保存为.env即可。

运行Dify

右键菜单中选择“在终端中打开”，如果没有，应该可以在“显示更多选项”中找到。

输入 docker compose up -d 回车，首次运行会从服务器安装相关程序、依赖，耗时较长。没有网络条件的同学请自行搜索docker换源教程。

我这个步骤没截图，借用其他教程中的图

看到9个服务都变为Running状态，表示已经成功运行。

3、Dify配置操作

成功运行docker镜像后，Dify已经可以通过浏览器访问了，直接在浏览器地址栏输入http://localhost 或http://127.0.0.1

3.1 设置管理员账户

首次访问页面会显示设置管理员账号，用户名密码要记好。

3.2 配置大语言模型（Ollama接入）

设置好管理员账户后，点击右上角用户名，在下拉菜单中选择设置。

在模型供应商列表中，找到ollama，点击添加模型按钮。

填入下列内容

模型名称：deepseek-r1:7b,根据当时从ollama网站拉取的模型对应名称填写；

基础URL：http://host.docker.internal:11434/ 前面修改Dify配置文件时，增加上去的代码中我们曾填写过这个url

点击“保存” 。

3.3 注册SiliconFlow账号

我为了方便调试，直接调用了SiliconFlow提供的API，网址为：https://siliconflow.cn/

注册成功后，点击左边菜单中的 API密钥-->新建API密钥，创建成功后，点击密钥复制。

3.4 配置embedding和rerank模型

这两个模型的作用是把外挂给知识库的文档分段存储及查询调用。

回到Dify页面，在模型供应商列表中，找到Siliconflow，点击设置图标，填写API key，保存

至此，我们已经挂载了本地通过Ollama部署的deepSeek-r1:7b模型，以及Sillconflow网站上，可供调用的52个其他模型。

3.5 系统模型设置

点击右边按钮，在弹出菜单中设置推理模型（本地Ollama+deepseek-r1）、ebedding模型（调取Silliconflow+API）、rerank模型这三项（调取Silliconflow+API），其中BAAI有测评做过对比，他们家的分割及查询模型得分较高。

下面两项本项目用不到，可以不管。

至此，配置Dify配置完成，相信很多小伙伴已经放弃了，恭喜！

但我只写了一半，这不还没开始用吗…

三、创建知识库

这一步实现的就是把我们要使用的专业领域的知识文档，交给Dify去管理，以后我们要找啥，尽管问它就可以了。

点击Dify顶部菜单的知识库-->创建知识库；

导入文档，格式很自由，各种文档都可以添加进去，与传统软件及数据库系统那种每个字段一一对应及严格类型限制对比，智能不止一点半点！

选择好文件后，下一步。在下一个页面中，embedding和rerank两个模型可以单独设置，我目前体验过来的选择是这两个。

系统开始对文档进行分段存储处理，过程很快，由于调用了API，也不需要本地算力，全部完成后，点击前往文档。

在文档页面中，三个文档的状态显示可用。

文档处理已经顺利完成，知识库搭建也算是完成了。

四、创建聊天助手

通过顶部菜单-->工作室-->创建空白应用，创建聊天助手；

点击创建后，我们来到这个页面，需要把刚才建好的知识库挂载给聊天助手，它才会调用里面的内容进行推理及回答。可以添加多个知识库，每个知识库里面可以添加多个文档！

右上角会显示系统模型配置里，先前选择好的推理模型，点击这里，还可以切换其他模型。这里我尝试了一个非常有用的功能，就是多模型调试了。可以同时对最多4个模型进行提问，对比模型之间推理能力及回答准确性，这个功能非常棒！

同时挂载最多4个模型进行调试，选择最合适自身情况一个进行发布

调用前可以先到硅基流动网站上看看模型说明，要是调用了其他音频、图片、视频生成类模型用于问答推理，是无法得到想要的答案的。

这里展示一下3个模型的调试效果，大家需要根据自身情况去测试，最终确定这个聊天助手适用那个模型！视频中第一个是本地的DeepSeek-r1:7b, 第二个是Siliconflow上的千问Qwen-2.5:72b，第三个是Siliconflow上的DeepSeek-R1 671B满血版，效果怎样各位同学自行判断哈！点击答案下方"引用"的文件标题，还能查看调取的文档片段，相当给力！

调试完毕后，依次点击发布、更新、运行…

自动弹出聊天页面，按“Start Chat” 开始基于本地知识库的聊天吧！

到这里，本地AI知识库的搭建算是完成了，聊天助手会根据你丢进去的文档资料，结合模型的AI推理回答你的问题。对个人来说，这活脱脱的一个私人秘书！而且任劳任怨，效率奇高！对于企业而言，只要把部署知识库的电脑IP固定，就可以通过ip访问本地知识库了。

我试过把产品规格非常随意的做成表格扔进去，给个货号就能把所有产品规格明细调取出来，这又变成产品知识库了！Dify的功能非常强大，可以做的事情还有很多，甚至可以做工作流！这些我也还未学习到，欢迎大家也来一起探讨！

看到这里的同学，毅力可嘉啊，不妨做一个吧！

作者声明本文无利益相关，欢迎值友理性交流，和谐讨论～