打造NAS AI搜索引擎:本地部署,让你的搜索能力飞跃提升!

2024-05-25 12:21:13 18点赞 153收藏 11评论

项目介绍

如今NAS也开始引入各种AI的概念,不管是在相册识别上、还是文件搜索上,能用到AI的地方也一定要塞进去。而今天要介绍的便是一款私密且在本地运行的搜索聚合器和答案生成器—FreeAskInternet。它集成了GPT与searxng,可通过将搜索结果与AI结合,基于搜索结果生成答案。

功能特性:

  • 完全免费(无需任何API密钥)

  • 完全本地(不需要GPU,任何计算机都可以运行)

  • 完全私密(所有都在本地运行,使用定制llm)

  • 不使用LLM硬件(无需GPU)

  • 使用免费ChatGPT3.5 / Qwen / Kimi / ZhipuAI(GLM) API(无需API密钥)

  • 支持自定义LLM(ollama,llama.cpp)

  • 使用Docker Compose快速部署和易于操作

  • 网页和移动设备友好界面,设计用于Web搜索增强AI聊天,可轻松从任何设备访问。

项目体验

FreeAskInternet的首页很简洁,中间是搜索输入栏,在输入栏的下面有搜索增强与AI对话两种功能选择,同时也支持模型的切换。

打造NAS AI搜索引擎:本地部署,让你的搜索能力飞跃提升!

项目设置界面支持回答语言的切换,目前支持中繁英三种。模型上,支持ChatGPT3.5 / Qwen / Kimi / ZhipuAI(GLM)api,同时也支持自定义LLM,本地 ollama等模型。

打造NAS AI搜索引擎:本地部署,让你的搜索能力飞跃提升!

自定义模型支持oneapi的接入,不过使用自定义模型之后便不能在首页进行模型的切换。如果使用项目本身自带的模型,首页支持四种模型切换,但需要提前备好key。关于key的获取可以查看 LLM Red Team 团队的项目。

打造NAS AI搜索引擎:本地部署,让你的搜索能力飞跃提升!

输入想要问的内容,便可以获得你想要的信息了。可选择增强搜索与AI对话,增强搜索会根据搜索内容总结你问到的问题,AI对话便是常规的对话。

打造NAS AI搜索引擎:本地部署,让你的搜索能力飞跃提升!

项目部署

该项目的部署并不难,如果你使用的是群晖或者威联通,那么可以通过安装git服务,直接拉取项目目录,如果你购买了绿联的新品,那么也可以通过docker-compose来运行项目,毕竟绿联的新系统是允许用户使用root权限的。

打造NAS AI搜索引擎:本地部署,让你的搜索能力飞跃提升!

这里我SSH连接群晖之后通过cd /volume1/docker移动到我docker的根目录文件夹下,随后再输入git clone https://github.com/nashsu/FreeAskInternet.git直接拉取项目文件。

打造NAS AI搜索引擎:本地部署,让你的搜索能力飞跃提升!

最后cd ./FreeAskInternet到项目根目录,输入docker-compose up -d启动容器,这里需要注意的是,该项目的本地端口默认为3000,如果有冲突,记得更改一下docker-compose.yml文件中的端口。

打造NAS AI搜索引擎:本地部署,让你的搜索能力飞跃提升!

项目内置了各种模型的free-api,如果你不需要某一个模型,那么也可以直接在文件中删掉该模型的容器命令部分。默认情况下,该项目一共具备8个容器。

打造NAS AI搜索引擎:本地部署,让你的搜索能力飞跃提升!

此时浏览器输入http://你的nasIP+端口号便可以打开项目首页了。如果你的网络环境能实现外部直接访问,那么你可以直接使用3.5的模型,如果你当前网络环境仅支持国内,那么就需要去设置中填写国内模型的key。

总结

项目是好项目,不过总感觉用途不是很大,不过我看了作者自建的体验站,将其接入到了跟完善的AI web中,这样一来使用就更为无感,体验上要好上很多。感兴趣的可以直接去作者的体验站点试用,再决定是否自部署。

以上便是本期的全部内容了,如果你觉得还算有趣或者对你有所帮助,不妨点赞收藏,最后也希望能得到你的关注,咱们下期见!

打造NAS AI搜索引擎:本地部署,让你的搜索能力飞跃提升!

作者声明本文无利益相关,欢迎值友理性交流,和谐讨论~

展开 收起
11评论

  • 精彩
  • 最新
  • 我仔细研究了一下,这个东西就是逆向各大AI web端,通过token代替了API,然后自己给了一个UI入口做集成,类似nextchat。所谓的本地模型也指的是可以通过配置调用llm server。
    如果说像以自己手上的文档资料作为数据源,那么还有一段llm的训练路径需要自己想办法搞定。

    校验提示文案

    提交
    就是逆向啊,我之前有写过apifree,通过逆向实现国内智谱,千问等等免费调用

    校验提示文案

    提交
    收起所有回复
  • 沙发

    校验提示文案

    提交
    板凳 [张小草_笑]

    校验提示文案

    提交
    收起所有回复
  • 求作者站地址

    校验提示文案

    提交
    直接github搜项目名就有啦 [高兴] [高兴]

    校验提示文案

    提交
    收起所有回复
  • 本地搜索那数据都在本地了。 Gpt3.5的模型是怎么回事?不可能把这个模型放到本地的

    校验提示文案

    提交
    llm支持本地的,只不过要构建好

    校验提示文案

    提交
    我好像有思路了 [ok了] 谢谢

    校验提示文案

    提交
    收起所有回复
  • 搞不定,搜了一下,git命令要装git server,按教程装好又设置不好,这东东平时又用不上,搞了半个多小时没进展只好放弃了

    校验提示文案

    提交
    git命令在群晖的套件库有

    校验提示文案

    提交
    收起所有回复
提示信息

取消
确认
评论举报

相关文章推荐

更多精彩文章
更多精彩文章
最新文章 热门文章
153
扫一下,分享更方便,购买更轻松