担心使用在线AI工具时数据隐私泄露？面对模型的知识盲区无能为力？通过本地化部署，可以完全免费地搭建一个专属AI知识库，让数据100%掌握在自己手中，同时有效解决模型训练数据过时的问题，实现真正的私有化智能问答。
智能速览
只需Ollama与AnythingLLM两款工具即可实现本地部署。
需下载qwen3:4b作为聊天大脑，bge-m3作为文档向量化引擎。
AnythingLLM支持上传Word、PDF等多种格式的私人文档。
通过本地知识库，AI可回答超出其训练数据范围的问题并给出引用来源。
整个过程完全免费，且所有数据均在本地处理，确保隐私安全。
精华内容
想要一个既懂你又保护隐私的AI助手？通过结合Ollama和AnythingLLM，可以轻松打造一个完全本地化的知识库，让数据安全掌握在自己手中，并突破AI模型的知识限制。
准备工作
搭建私人AI知识库，核心是两款软件：Ollama和AnythingLLM。Ollama是一个大模型运行环境，负责在本地运行各种AI模型。AnythingLLM则是一个功能强大的桌面应用程序，它提供了图形化界面，让用户能方便地管理和与AI交互，并处理文档。用户需要访问AnythingLLM的官网，根据自身操作系统下载对应版本即可。
模型下载
在开始配置前，需要通过Ollama下载两个关键模型。第一个是`qwen3:4b`，这是一个对话大模型，将作为AI知识库的“聊天大脑”，负责理解和生成回答。第二个是`bge-m3`，它并非聊天模型，而是一个文本嵌入模型，作用是将上传的Word、PDF等文档内容，转换成AI可以高效检索的向量数据，是知识检索的核心引擎。
环境搭建
安装AnythingLLM的过程非常直观。双击安装包后，程序会询问是否要下载Ollama，此时必须选择“否”，因为已经提前手动安装好了。这是关键步骤，避免重复安装导致冲突。启动后，在初始设置中，将大语言模型（LLM）提供商选择为Ollama，模型指定为`qwen3:4b`，系统会自动检查本地11434端口是否连通，确认后即可完成基础环境的搭建。
知识库配置
要让AI学会使用你的文档，需要在AnythingLLM的设置里配置知识检索功能。在设置界面中，大语言模型和向量数据库保持默认配置。重点在于“嵌入器”选项：将其提供商设置为Ollama，并选择之前下载的`bge-m3`模型。保存设置后，AnythingLLM就具备了处理和索引私人文档的能力，私人知识库的核心配置至此完成。
实战测试
配置完成后，可以上传任意Word或PDF文档到工作区，系统会自动进行嵌入处理。测试效果非常明显：在未上传文档前，询问一个超出模型知识范围的问题（如2026年的新闻），AI会回答“不知道”。但上传包含答案的文档并嵌入后，再次提问，AI便能精准地从你的知识库中检索信息，生成正确回答，并明确标注引用来源，彻底解决了模型的知识盲区问题。
这个方案不仅实现了数据的完全本地化，杜绝了泄露风险，还通过引入本地知识库，赋予AI持续学习和精准回答特定问题的能力。当AI的能力完全由你塑造时，它还能为你带来哪些意想不到的惊喜？
