学习折腾 篇二十九:免费私有化AI搜索引擎,Docker三步搞定!
一个完全免费、私有且本地运行的搜索引擎,并使用 LLM 生成答案,无需 GPU。用户可以提出问题,系统会进行多引擎搜索,并将搜索结果合并到ChatGPT3.5 LLM中,并根据搜索结果生成答案。
特点:
🈚️完全免费(不需要任何API密钥)
💻 完全本地化(无需GPU,任何计算机都可以运行)
🔐完全私有(所有东西都在本地运行)
👻 无需 LLM 硬件即可运行(无需 GPU!)
🤩 使用免费的 ChatGPT3.5 API(无需 API 密钥!感谢 OpenAI)
🚀 使用 Docker Compose 快速轻松地部署
🌐 Web 和移动设备友好的界面,允许从任何设备轻松访问(Thx ChatGPT-Next-Web)展示
系统在ChatGPT-Next-Web(本地运行)中获取用户输入的问题,并调用searxng(本地运行)在多个搜索引擎上进行搜索。抓取搜索结果链接内容并传递给ChatGPT3.5(使用OpenAI ChatGPT3.5,通过本地运行的FreeGPT35),让ChatGPT3.5根据此内容作为参考回答用户问题。将答案流式传输至 ChatGPT-Next-Web 聊天 UI。
首先,创建一个目录FreeAskInternet及下级目录searxng
然后下载或者新建docker-compose.yml文件
文件内容如下:
services:
backend:
image: docker.io/nashsu/free_ask_internet:latest
depends_on:
- llm-freegpt35
restart: on-failure
freeaskinternet-ui:
image: docker.io/nashsu/free_ask_internet_ui:latest
ports:
- "3330:80"
environment:
BACKEND_HOST: "backend:8000"
depends_on:
- backend
restart: always
chatgpt-next-web:
image: yidadaa/chatgpt-next-web
ports:
- "3030:3000"
environment:
OPENAI_API_KEY: "FreeAskInternet"
# CODE: "FreeAskInternet" # 如果你想要设置页面的访问密码,请修改这里
BASE_URL: "http://backend:8000"
CUSTOM_MODELS: "-all,+gpt-3.5-turbo"
depends_on:
- llm-freegpt35
restart: always
llm-freegpt35:
image: missuo/freegpt35:latest
restart: always
llm-kimi:
image: vinlic/kimi-free-api:latest
restart: always
environment:
- TZ=Asia/Shanghai
llm-glm4:
image: vinlic/glm-free-api:latest
restart: always
environment:
- TZ=Asia/Shanghai
llm-qwen:
image: vinlic/qwen-free-api:latest
restart: always
environment:
- TZ=Asia/Shanghai
searxng:
image: docker.io/searxng/searxng:latest
volumes:
- ./searxng:/etc/searxng:rw
environment:
- SEARXNG_BASE_URL=https://${SEARXNG_HOSTNAME:-localhost}/
cap_drop:
- ALL
cap_add:
- CHOWN
- SETGID
- SETUID
logging:
driver: 'json-file'
options:
max-size: '1m'
max-file: '1'
restart: always
最后进入putty到项目文件夹创建运行容器
docker-compose -f docker-compose.yml up -d
到此,项目基本就部署完成了。
浏览器访问 http://NAS的IP:本地端口
,即可打开的界面:
不过我的群晖DS-220+直接卡住了,答案都没出来,看来得用我的DS-920+折腾了!如果你还没机器,那就上群晖24新品DS-224+的CPU与Ds-920+的都是J4125的四核处理器,再自己回个16G的内存,基本上就够折腾的了。
作者声明本文无利益相关,欢迎值友理性交流,和谐讨论~
timespace
校验提示文案
SunnyZDM
校验提示文案
值友3294854430
校验提示文案
小久妹妹
校验提示文案
值友3469852116
校验提示文案
dylong
校验提示文案
dafeixia
校验提示文案
汤爱郭
校验提示文案
汤爱郭
校验提示文案
值友3294854430
校验提示文案
dafeixia
校验提示文案
dylong
校验提示文案
值友3469852116
校验提示文案
timespace
校验提示文案
SunnyZDM
校验提示文案
小久妹妹
校验提示文案