把AI大模型搬到本地 第二期-部署一个AI聊天工具|docker妙用|绿联NAS|OpenAI

提示：本篇文章1058字符，阅读大约需要2分钟。

写在前面

上周，本薇用绿联DX4600+带大家部署了一个免费的本地3.5模型。原理就是利用日前已经免费且无需登录的3.5网页端，将其利用该容器直接转化为API服务器。

但是，光有API服务器显然是不够的，没法聊天的话，大家显然还不能愉快的玩耍。

今天就带大家继续使用docker部署一个本地支持API的聊天服务器，这样在服务器填入API地址以后，大家就可以在本地愉快地和AI大模型交谈了，你也可以直接将这个聊天服务器分享给你的朋友和家人使用。让AI完全零门槛使用。

在这里仍然提醒大家，请注意相关的安全及法律风险，使用时请遵守国内关于AI大模型的相关法律法规，不要随意分享到公网使用。

部署

第一步，下载镜像；

下载镜像

第二步，创建容器；

创建容器

第三步，设置本地端口，我这里映射了3001；

设置本地端口

第四步，设置环境变量（填入本地API服务器地址和API，API请随意输入一串字符）；

填入环境变量

第五步，部署成功。

部署成功

使用

在浏览器输入http://[NAS IP]:端口号即可打开网页端。

然后你就可以愉快的使用了：

愉快的使用吧

你也可以在首页使用诸多内置的prompt，帮助3.5模型变身：

内置prompt

化身小红书写手

关于DX4600+

今日我们使用搭载绿联NAS DX4600+进行部署：

DX4600+

绿联DX4600+搭载了4核4线程的低功耗CPU——N5105，兼具了性能和节能的特性。同时最高支持16G内存（双8G），使你在部署docker容器时，容量不再捉襟见肘。同时具备双M.2插槽，将docker文件夹放入固态硬盘中，会极大降低系统运行时机械硬盘读写的噪音。同时，两张M.2固态硬盘还能组建RAID1存储池，为你的docker数据保驾护航。

DX4600+

同时，在UGOS系统中，dockerUI集成了绝大部分常用功能，大大简化了docker部署的繁琐程度：

绿联的dockerUI

你甚至可以在docker应用中直接为Jellyfin映射核显，非常方便：

为Jellyfin映射核显

新手小白不会部署docker怎么办？绿联也为你贴心的准备了各类常用容器的部署教程，实现一键下载，一键部署哦。

常用docker项目

docker教程

总结

最后还是非常感谢AI社区的开发者们能为我们普通人提供这些非常好用的工具，无论是运行在本地的API服务器，还是聊天工具，以及聊天服务器自带的众多prompt。这些无一不是在降低普通人接触AI，使用AI的门槛。

对于这类简单的容器部署，绿联NAS提供了非常简洁高效的dockerUI界面，无论是用户部署，还是博主做教程，都变得非常直观好用。

下一期本薇继续带大家部署一个各类AI的API集合容器，这个容器除了支持OpenAI之外，还集成了百度文心一言、阿里通义千问等诸多国产大模型。同时，它也支持今天部署的聊天服务器，在它的加持下，你就可以在本地聊天服务器上直接使用各种AI大模型了。

这就是本期的全部内容了，如果这篇文章对您有帮助的话，欢迎您在评论区多多讨论，也欢迎关注、点赞、打赏一键三连，您的支持对我非常重要。

我是冥冰薇，点个关注不迷路，我们下期再见。

关注图

作者声明本文无利益相关，欢迎值友理性交流，和谐讨论～