大乾测评 篇七:i5-12600KF的AI新体验

2024-05-22 23:09:10 1点赞 4收藏 2评论

去年是大模型大火的一年,也发布了很多开源的大模型,其中有一些参数不大且通过量化技术,可以在8G或者12G现存的显卡上运行。但是,我们如果想跑没有量化过的大参数量的大模型呢? 而有一种技术就可以实现这个想法,那就是通过CPU来跑大模型。

这次我选择了国产开源的ChatGLM3这一大模型。它是清华开源的,他们去年就开源了chatGLM2,今年则升级到了ChatGLM3,扩充了多模输入和提升了token的字数。废话不多说,接下来看看12600KF与ChatGLM3的结合结果如何吧。

一 环境部署

1.下载ChatGLM3-6B的源代码

源代码既可以通过GitHub下载:https://github.com/THUDM/ChatGLM3

也可以通过国内的Gitcode加速下载:https://gitcode.com/THUDM/ChatGLM3

i5-12600KF的AI新体验

更推荐第二种方式,因为国内访问github总是存在各种问题。

这里下载的文件呢,主要是可以让你直接运行python文件,实现以API或者web网页的形式来访问大模型。其中web页面用的是Streamlit技术,可以轻松地将你数据挖掘的结果可视化,是个不可多得的好工具,感兴趣的小伙伴可以深入了解下。

2.下载ChatGLM3-6B的模型文件

模型文件下载也有两种途径,一种是传统的HuggingFace:https://huggingface.co/THUDM/chatglm3-6b

一种是通过ModelScope:https://modelscope.cn/models/ZhipuAI/chatglm3-6b

i5-12600KF的AI新体验

这里也是更推荐第二种,因为它在国内的访问不受限制,下载速度更快。这里面最重要的就是我框出来的接近2个G(大概率是2000M)的模型文件。葫芦娃七兄弟,一个也不能少。

3.安装Anaconda并配置虚拟环境,安装依赖包

Anaconda是一个很方便的工具,能够帮助我们快速构建和管理Python的虚拟环境。我们运行大模型,一般需要Python3.8甚至Python3.11的环境,而且需要安装大量的包,建议是为大模型单独配置其虚拟环境。

i5-12600KF的AI新体验

Download Now | Anaconda

这里我选择Python3.9版本为基础创建虚拟环境。

conda create -n your_env_name python=x.x

#其中-n后面是虚拟环境的名字,python后面是你要的python版本

conda env list

#这是列出conda上面虚拟环境的命令

conda active your_env_name

#这是激活虚拟环境的命令,激活后的安装等操作都会在里面进行

4.安装C/C++编译环境

这一步主要也是为了后续安装和运行提供基础环境。我们选择到Download | tdm-gcc (jmeubank.github.io) 下载对应的安装文件。安装时记得勾选openmp即可。其他一路next即可。

i5-12600KF的AI新体验

安装完以后,可以到CMD中输入"gcc -v"验证是否安装成功。

ps.安装过程中如果还是要连接github,可以看这个网站,替换成最新的hosts试试:GitHub Hosts | hosts (ineo6.github.io)

5.安装Pytorch特定版本

进入Pytorch官网PyTorch,寻找对应自己CPU版本的安装文件,具体安装则需要进入到Anaconda虚拟环境里面,将Pytorch官网获取到的安装链接在虚拟环境下安装。

这里我们选择CPUonly的安装语句:

# CPU Only conda install pytorch==2.1.1 torchvision==0.16.1 torchaudio==2.1.1 cpuonly -c pytorch

6.安装其他依赖包

根据chatglm3-6b的工程文件夹里面的requirements.txt文件的要求,安装所需的各种依赖包。直接在Anaconda的控制台里面,进入工程文件夹路径,然后执行pip install -r requirements.txt命令就可以了。

ps.这里如果下载依赖包太慢,可以将anaconda的源换成国内的。anaconda | 镜像站使用帮助 | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror 需要注意的是,改了源的镜像以后,记得重新启动Anaconda的控制台让配置生效,再进入自己的虚拟环境下安装依赖包。

i5-12600KF的AI新体验

二 模型运行

模型正式运行之前,我们需要去修改代码里面的MODEL_PATH,确保它指向咱们本地的模型文件夹。我们因为是用Streamlit运行,所以修改basic_demo文件夹下面的web_demo_streamlit.py文件即可。

i5-12600KF的AI新体验

因为是streamlit运行,所以需要到anaconda虚拟环境里面执行streamlit run web_demo_streamlit.py命令即可。

i5-12600KF的AI新体验

运行成功后会跳转到网页,等待模型加载完成后,就可以输入自己的问题啦。

i5-12600KF的AI新体验

1.初始占用情况

不得不说,大模型文件是真的大,初始占用已经是30.8/31.8G了。当然这里面要剔除掉系统占用和其他开着的软件的占用。

i5-12600KF的AI新体验i5-12600KF的AI新体验

通过任务管理器可以看到,占用了约24G的内存

i5-12600KF的AI新体验

但是响应很快,基本上4S就能获得想要的结果,当然,字还是一个一个往外蹦出来的,比不是在GPU上面部署的大模型的速度。但是这个表现,已经值得说一声12600KF YYDS了。

2.多轮回答以后占用情况

在回答问题时,大模型的CPU占用率一直在60%左右徘徊,占用的内容也是在24G左右徘徊,可以说是非常的稳定。同时,CPU的温度也稳定在80℃左右。不回答问题时,CPU占用率基本为0. 当然,因为模型一直加载在内存里面,所以内存占用没变化。

i5-12600KF的AI新体验i5-12600KF的AI新体验

三 总结

用12600KF玩大模型,是完全可以部署并使用的。只是模型响应时间较长,而这也是CPU部署大模型的通病了。相较而言,12600KF的CPU占用不高,耗费内存较少,提出问题后能够快速响应,对于想要体验大模型私有化部署的朋友来说,也是一个很不错的体验哦。

展开 收起

QNAP 威联通 TS-464C2 四盘位 NAS网络存储(赛扬N5095、8GB)黑色

QNAP 威联通 TS-464C2 四盘位 NAS网络存储(赛扬N5095、8GB)黑色

2266.51元起

ZSpace 极空间 私有云 Z4Pro 8G版 4盘位NAS存储(N97、8GB)

ZSpace 极空间 私有云 Z4Pro 8G版 4盘位NAS存储(N97、8GB)

2399元起

UGREEN 绿联 DX4600 Pro 4盘位NAS(奔腾N6005、8GB)

UGREEN 绿联 DX4600 Pro 4盘位NAS(奔腾N6005、8GB)

2279元起

UGREEN 绿联 DXP4800 四盘位 私有云NAS存储(Intel N100、8GB)

UGREEN 绿联 DXP4800 四盘位 私有云NAS存储(Intel N100、8GB)

1999元起

ZSpace 极空间 私有云 Z4Pro 性能版 NAS存储(N305、16GB)

ZSpace 极空间 私有云 Z4Pro 性能版 NAS存储(N305、16GB)

3019.01元起

ZSpace 极空间 私有云 Z4Pro 16G版 4盘位NAS存储(N97、16GB)

ZSpace 极空间 私有云 Z4Pro 16G版 4盘位NAS存储(N97、16GB)

2699元起

Synology 群晖 DS224+ 双盘位NAS(赛扬J4125、2GB)

Synology 群晖 DS224+ 双盘位NAS(赛扬J4125、2GB)

2202元起

ZSpace 极空间 私有云 Z423 旗舰版 8盘位NAS存储(锐龙R7-5825U、64GB)

ZSpace 极空间 私有云 Z423 旗舰版 8盘位NAS存储(锐龙R7-5825U、64GB)

5899元起

ZSpace 极空间 私有云Z2Pro 四核2盘位NAS

ZSpace 极空间 私有云Z2Pro 四核2盘位NAS

1070.51元起

ASUS 华硕 AS6702T 4盘位NAS存储 黑色(Core2 Quad Q8300、4GB)

ASUS 华硕 AS6702T 4盘位NAS存储 黑色(Core2 Quad Q8300、4GB)

3899元起

QNAP 威联通 TS-466C 四盘位NAS(奔腾N6005、8GB)

QNAP 威联通 TS-466C 四盘位NAS(奔腾N6005、8GB)

2959元起

UGREEN 绿联 DX4600 四盘位NAS存储 (赛扬N5105、8GB)

UGREEN 绿联 DX4600 四盘位NAS存储 (赛扬N5105、8GB)

1569元起

TERRAMASTER 铁威马 F4-424 Pro 四盘位NAS(Intel Core i3、32GB)黑色

TERRAMASTER 铁威马 F4-424 Pro 四盘位NAS(Intel Core i3、32GB)黑色

2499元起

QNAP 威联通 TS-464C 4盘位NAS(赛扬N5095、8GB)

QNAP 威联通 TS-464C 4盘位NAS(赛扬N5095、8GB)

1766元起

DS923+ 双核心 四盘位 NAS网络存储服务器 私有云 文件服务器

DS923+ 双核心 四盘位 NAS网络存储服务器 私有云 文件服务器

4020.64元起

ZSpace 极空间 私有云 T2 2盘位NAS存储(RK 3568、4GB)

ZSpace 极空间 私有云 T2 2盘位NAS存储(RK 3568、4GB)

1499元起
2评论

  • 精彩
  • 最新
提示信息

取消
确认
评论举报

相关好价推荐
查看更多好价

相关文章推荐

更多精彩文章
更多精彩文章
天猫超级红包
距结束::
每天领现金,最高24888元
红包按钮
相关话题
最新文章 热门文章
4
扫一下,分享更方便,购买更轻松