没有OpenAI的ID怎么办,ChatGPT的平替来了,Chatglm-6b助力写作

2023-05-13 21:17:55 9点赞 64收藏 6评论

购买理由

ChatGLM-6B是清华大学知识工程和数据挖掘小组发布的一个类似ChatGPT的开源对话机器人,由于该模型是经过约1T标识符的中英文训练,且大部分都是中文,因此十分适合国内使用。

如果你有OpenAI的ID的话,而且你已经用的非常顺畅的话,可以不看了。

如果你拥有一块最好大于等于8G显存的显卡,有一台以Unraid为系统的NAS机器的话,可以试试,反正我用起来很好用,平时写个材料,从1天的时间缩短到2小时左右,而且基本上结构上是可以使用,还可以进行对话要求修改。应对简单工作的时候,已经非常的方便快捷,例如:写一篇有关XXXX的心得,不少于1000字;写一个项目计划,然后在输入,请对XXXX项目进行不少于1000字的阐述。

由于是在本机运行,没有敏感词,唯一限制你的就是模型的大小和显卡显存的大小。

注意NAS的内存大小,不要少于32G可用,都有独立显卡了,还在乎内存的耗电么?

//www.datalearner.com/ai-models/pretrained-models/ChatGLM-6B

根据GitHub开源项目公开的信息,ChatGLM-6B完整版本需要13GB显存做推理,但是INT4量化版本只需要6GB显存即可运行,因此对于个人本地部署来说十分友好。

以下是部署docker添加方式。

名称:chatglm-6b

存储库:mkaliez99/chatglm-6b:1.1.0

额外参数:--runtime=nvidia

变量 名称 显卡调用 键 NVIDIA_VISIBLE_DEVICES 值 一张显卡就all

变量 名称 显卡调用模式 键 NVIDIA_DRIVER_CAPABILITIES 值 compute,utility

端口 名称 端口主机映射 容器端口 80 主机端口 12808,你可以自己设定自己不用的端口

点击完成后,将开始漫长的拉取环境安装,然后自动下载模型,模型有点大,大约8G左右。

等下载完成,日志显示,Loading checkpoint shards: 100%|██████████| 8/8 [00:24<00:00, 3.11s/it]

之后 浏览器输入 ip:12808 就可以快乐的使用了。

外观展示

没有OpenAI的ID怎么办,ChatGPT的平替来了,Chatglm-6b助力写作

使用感受

我的显卡是X鱼上购买的900元显卡,被动散热,加装了风扇。运行这个生成,基本上秒回。与在线的OpenAI的ChatGPT几乎一致,但是模型是6B的模型,比起AI的30B模型回复的内容质量差距很大,但是日常使用,例如写个心得体会,写一点点的分析,询问一些问题,是完全足够。

总结

个人本地运行,不受限制,不怕被封号,这是唯一的优势。相信以后更大的模型之后,会有更好的效果。有兴趣的可以自己架设起来,让AI助理提高工作效率。

作者声明本文无利益相关,欢迎值友理性交流,和谐讨论~

展开 收起
6评论

  • 精彩
  • 最新
  • 我看到ChatGLM的博客上写着,ChatGLM-130B已经商用于值得买,不知道用在哪块了 [高兴]

    校验提示文案

    提交
    感觉一般是用于客服💁。

    校验提示文案

    提交
    收起所有回复
  • 请教一下,unraid可以看见GPU的码了,但chatGLM的docker里已配置,但docker启动的日志里面还是说,没有找到GPU。能指导下估计是什么问题吗?

    校验提示文案

    提交
  • 大佬,为啥我这一启动容器就自动停止了呀,看日志好像都是正常的,就是启动不起来

    校验提示文案

    提交
  • 不用设置路径吗?

    校验提示文案

    提交
  • 安装了 运行了 显存爆了 安装的依旧是ChatGLM-6B 怎么选择INT4量化版

    校验提示文案

    提交
提示信息

取消
确认
评论举报

相关文章推荐

更多精彩文章
更多精彩文章
最新文章 热门文章
64
扫一下,分享更方便,购买更轻松