UNRAID DOCKER 篇四：没有OpenAI的ID怎么办，ChatGPT的平替来了，Chatglm-6b助力写作

购买理由

ChatGLM-6B是清华大学知识工程和数据挖掘小组发布的一个类似ChatGPT的开源对话机器人，由于该模型是经过约1T标识符的中英文训练，且大部分都是中文，因此十分适合国内使用。

如果你有OpenAI的ID的话，而且你已经用的非常顺畅的话，可以不看了。

如果你拥有一块最好大于等于8G显存的显卡，有一台以Unraid为系统的NAS机器的话，可以试试，反正我用起来很好用，平时写个材料，从1天的时间缩短到2小时左右，而且基本上结构上是可以使用，还可以进行对话要求修改。应对简单工作的时候，已经非常的方便快捷，例如：写一篇有关XXXX的心得，不少于1000字；写一个项目计划，然后在输入，请对XXXX项目进行不少于1000字的阐述。

由于是在本机运行，没有敏感词，唯一限制你的就是模型的大小和显卡显存的大小。

注意NAS的内存大小，不要少于32G可用，都有独立显卡了，还在乎内存的耗电么？

//www.datalearner.com/ai-models/pretrained-models/ChatGLM-6B

根据GitHub开源项目公开的信息，ChatGLM-6B完整版本需要13GB显存做推理，但是INT4量化版本只需要6GB显存即可运行，因此对于个人本地部署来说十分友好。

以下是部署docker添加方式。

名称：chatglm-6b

存储库：mkaliez99/chatglm-6b:1.1.0

额外参数：--runtime=nvidia

变量 名称 显卡调用 键 NVIDIA_VISIBLE_DEVICES 值 一张显卡就all

变量 名称 显卡调用模式 键 NVIDIA_DRIVER_CAPABILITIES 值 compute,utility

端口 名称 端口主机映射 容器端口 80 主机端口 12808，你可以自己设定自己不用的端口

点击完成后，将开始漫长的拉取环境安装，然后自动下载模型，模型有点大，大约8G左右。

等下载完成，日志显示，Loading checkpoint shards: 100%|██████████| 8/8 [00:24<00:00, 3.11s/it]

之后 浏览器输入 ip:12808 就可以快乐的使用了。

外观展示

使用感受

我的显卡是X鱼上购买的900元显卡，被动散热，加装了风扇。运行这个生成，基本上秒回。与在线的OpenAI的ChatGPT几乎一致，但是模型是6B的模型，比起AI的30B模型回复的内容质量差距很大，但是日常使用，例如写个心得体会，写一点点的分析，询问一些问题，是完全足够。

总结

个人本地运行，不受限制，不怕被封号，这是唯一的优势。相信以后更大的模型之后，会有更好的效果。有兴趣的可以自己架设起来，让AI助理提高工作效率。

作者声明本文无利益相关，欢迎值友理性交流，和谐讨论～