UNRAID篇!搭建私人AI知识库AnythingLLM
该篇教程主要讲解AnythingLLM的安装和简单使用
AnythingLLM:
这是一个全栈应用程序,可以将任何文档、资源(如网址链接、音频、视频)或内容片段转换为上下文,以便任何大语言模型(LLM)在聊天期间作为参考使用。此应用程序允许您选择使用哪个LLM或向量数据库,同时支持多用户管理并设置不同权限。
AnythingLLM的特性:
○ 多用户实例支持和权限管理
○ 工作区内的智能体Agent(浏览网页、运行代码等)
○ 为您的网站定制的可嵌入聊天窗口
○ 支持多种文档类型(PDF、TXT、DOCX等)
○ 通过简单的用户界面管理向量数据库中的文档
○ 两种对话模式:聊天和查询。聊天模式保留先前的对话记录。查询模式则是是针对您的文档做简单问答
○ 聊天中会提供所引用的相应文档内容
○ 100%云部署就绪。
○ “部署你自己的LLM模型”。
○ 管理超大文档时高效、低耗。只需要一次就可以嵌入(Embedding)一个庞大的文档或文字记录。比其他文档聊天机器人解决方案节省90%的成本。
○ 全套的开发人员API,用于自定义集成!
主要流程目录:
1.安装
2.使用
3.总结
1.安装
去到应用商店“应用”,搜索“anythingllm”
基本上默认即可
需要在那个目录创建一个“.env”
可以直接下载这个“.env”模板,该名称为“.env”就行
https://github.com/Mintplex-Labs/anything-llm/blob/master/docker/.env.example
我这里直接创建一个“.env”,用记事本编辑
SERVER_PORT=3001
STORAGE_DIR="/app/server/storage"
UID='100'
GID='1000'
Tip:
文件夹和文件的一定要有读写权限,不然启动不了的
2.使用
在浏览器中输入 http://IP:3001
点击“开始”
支持的平台还是挺多的
关联教程:
测试一下之前安装的Ollama
根据自己情况设置
下一步
跳过
设置名称
加载完成
进入工作区
这里提示可以上传文档或者发送信息
这里我先发送文档里面相关内容测试一下,和之后对比
点击上传文档
选择文档进行上传
勾选文档,移动到我没的工作区
点击保存后会自动开始处理
需要等待处理(我等了挺久的)
处理完成了
再次提问感觉好像没什么区别(有些问题感觉匹配不好)
添加知识库以后,这里回复都会和文档有联系的
会分析匹配程度
新开了一个对话,重新提问其他
效果还是有的,围绕知识库分析回答
设置里面有参数可以调节(我不太会就没乱调了)
3.总结
这个AnythingLLM听很多人提到过,不过界面没有中文不太方便。上手操作不难,但是如果想要好的效果,需要调节参数和数据库匹配方式就需要看看说明文档了。
有兴趣的可以试试,能力有限就详细不展开了。
占用资源情况,还是比较吃内存的
AlDa
校验提示文案
AlDa
校验提示文案