谁说NAS硬件强大无用?记一次极空间Z423运行本地大模型Ollama的详细体验

2024-06-20 15:47:13 21点赞 177收藏 21评论

哈喽小伙伴们好,我是Stark-C~

我记得之前我分享了一次在我的华硕AS6704T NAS上玩本地大模型Ollama的时候虽说部署成功,但是因为NAS的性能毕竟有限,最后的体验可以说是非常的难受,最主要的是NAS跑起来也是非常的吃力,处理器几乎一直满载运行,温度也是迅速飙升,大有爆炸之势...

谁说NAS硬件强大无用?记一次极空间Z423运行本地大模型Ollama的详细体验

🔺如是我看到了桌前的极空间Z423旗舰版,搭载了AMD 锐龙7 5825U处理器,8核16线程,最高频率可达4.5Ghz;内置AMD Radeon Graphics(VEGA 7)核显,2.0GHz核显主频,8个执行单元,且还标配了32GB的内存,整体配置都达到了性能主机的标准,可以说是目前家用旗舰NAS的天花板。

然后我在想,如果在极空间Z423旗舰版跑Ollama大模型,效果是不是会好一些呢(换句话说,炸起来的样子会不会更帅些?)。

反正都是折腾,先盘起来再说!

部署

和之前的部署方案一样,咱们此次部署也是需要两个项目的支持:

  • Ollama:这个就不用说了,Ollama大型语言模型的主程序,专门用于部署和本地运行开源大型语言模型,比如今天要说的Llama 3模型。

  • Open WebUI:这个是一个开源的 Web 用户界面工具,为用户提供了友好的可视化界面来与 Ollama 平台进行对接和交互。

谁说NAS硬件强大无用?记一次极空间Z423运行本地大模型Ollama的详细体验

🔺不过相比上次华硕NAS部署还需要两个Docker容器相比,此次我们就只需要一个Docker容器即可。因为莞康推出了一个Open WebUI捆绑Ollama的镜像文件,部署起来就更简单了!

谁说NAS硬件强大无用?记一次极空间Z423运行本地大模型Ollama的详细体验

🔺根据Docker Run命令,咱们需要提前建立两个数据存储的持久化映射目录,所以我们在极空间的Docker目录里分别新建两个文件夹:【ollama】【open-webui】

谁说NAS硬件强大无用?记一次极空间Z423运行本地大模型Ollama的详细体验

🔺然后打开极空间Docker管理器的镜像仓库,自定义拉取镜像“ghcr.io/open-webui/open-webui:ollama”。

谁说NAS硬件强大无用?记一次极空间Z423运行本地大模型Ollama的详细体验

🔺因为是两个镜像合并,所以总容量有些大,咱们可能需要多等待一点时间。

PS:别问我为什么镜像拉取不受影响,我只能说“网是折腾的基础,有网走遍天下”。

谁说NAS硬件强大无用?记一次极空间Z423运行本地大模型Ollama的详细体验

🔺等待镜像下载完毕双击镜像开始部署容器。

谁说NAS硬件强大无用?记一次极空间Z423运行本地大模型Ollama的详细体验

🔺显示“基本设置”这里,因为跑Ollama大模型还是非常占用资源的,所以我们这里需要取消勾选“启用性能限制”,同时前面在介绍Z423的配置我说过,它搭载的AMD 锐龙7 5825U处理器以及核显性能都不错,而Ollama大模型恰好也支持CPU与GPU两种运行模式,所以我们这里可以勾选“调用核心显卡”看看它的表现如何(稍后我也会不勾选看看有什么区别~)。

谁说NAS硬件强大无用?记一次极空间Z423运行本地大模型Ollama的详细体验

🔺文件路径就按我们前面新建的两个文件夹,添加以下两个映射:

  • open-webui:/app/backend/data

  • ollama:/root/.ollama

谁说NAS硬件强大无用?记一次极空间Z423运行本地大模型Ollama的详细体验

🔺最后是“端口”,本地端口设置任意没被占用的即可。其它的就没什么好更改的了,直接点“应用”完成容器部署。

谁说NAS硬件强大无用?记一次极空间Z423运行本地大模型Ollama的详细体验

🔺回到极空间Docker管理器的容器列表等待容器启动,需要等待大概10秒钟的样子,当看到容器前面显示“正常”,就说明可以使用了。

体验

谁说NAS硬件强大无用?记一次极空间Z423运行本地大模型Ollama的详细体验

🔺部署成功后我们就可以打开Open WebUI容器的WEB页面,也就是浏览器【http:// NAS的局域网IP:端口号】 。首次进入需要点击“Sign up”注册一个账号。

谁说NAS硬件强大无用?记一次极空间Z423运行本地大模型Ollama的详细体验

🔺注册很简单,就随意设置名称、邮箱、密码三项即可。

谁说NAS硬件强大无用?记一次极空间Z423运行本地大模型Ollama的详细体验

🔺进入Open WebUI后台它默认还是英文主页面,好在它是原生支持中文的,点击右上角的“设置”。

谁说NAS硬件强大无用?记一次极空间Z423运行本地大模型Ollama的详细体验

🔺根据上图提示设置成简体中文并保存。

谁说NAS硬件强大无用?记一次极空间Z423运行本地大模型Ollama的详细体验

🔺接着添加Llama 3大语言模型,也是在“设置”页面,选择“模型”。它会提示让你拉取一个模型,但前提是我们需要知道模型的名称。如果你不清楚可以点它给出的提示“点击这里”。

谁说NAS硬件强大无用?记一次极空间Z423运行本地大模型Ollama的详细体验

🔺然后会重新打开另一个新的页面,第一个便是Llama 3。

谁说NAS硬件强大无用?记一次极空间Z423运行本地大模型Ollama的详细体验

🔺进入Llama 3页面会有版本选择,以及对应的模型容量大小。我选择了容量相对小一点的“8b”,然后它对应的名称就是上图方框所示的“llama 3:8b”,我们将这个名称复制下来。

谁说NAS硬件强大无用?记一次极空间Z423运行本地大模型Ollama的详细体验

🔺粘贴到Open WebUI“设置”页面的模型这里,点“下载”图标。

谁说NAS硬件强大无用?记一次极空间Z423运行本地大模型Ollama的详细体验

🔺它就会将模型下载到本地了,并且在下方会有一个下载的进度条显示。因为llama 3:8b模型较大,所以下载的时候可能会比较长,咱们耐心等待便是。我这里不知道是不是个例,中途页面假死了两次,我是刷新进又重新拉取,好在它支持续传,并没有耽误之前的下载。

谁说NAS硬件强大无用?记一次极空间Z423运行本地大模型Ollama的详细体验

🔺下载成功之后会弹出提示。

谁说NAS硬件强大无用?记一次极空间Z423运行本地大模型Ollama的详细体验

🔺然后回到Open WebUI主页,在顶部位置选中我们下载好的llama 3:8b模型就可以直接使用了。

Snipaste_2024-06-15_15-29-01Snipaste_2024-06-15_15-29-01

🔺我尝试问了两个问题,等待了差不多10秒钟它便开始出答案,并且出答案的速度差不多每秒5--8个字,虽说谈不上快,但是已经属于能接受的那种水平,比之前一个字一个字的蹦出了强多了。

Snipaste_2024-06-15_15-26-35Snipaste_2024-06-15_15-26-35

🔺我在它回答问题的时候打开极空间的设备监控,可以看到当前资源确实被Ollama模型占用,不过CPU占用为48%(之前华硕NAS的N5105处理器直接99%),内存占用15%,区别还是挺大的。

Snipaste_2024-06-15_15-30-37Snipaste_2024-06-15_15-30-37

🔺我尝试不调用核心显卡(停止容器重新编辑)。

Snipaste_2024-06-15_15-33-55Snipaste_2024-06-15_15-33-55

🔺然后也是在它回答问题的时候打开极空间的设备监控,可以看到处理器占用稍微提高到55%,内存占用依然为15%,和之前的区别貌似不大(并不排除我可能并没有成功启用GPU来跑这个模型)。

最后

不得不说,极空间Z423旗舰版作为目前私有云NAS的天花板,拥有强大的硬件性能输出,带来的一些体验还是很多其它同类产品所不能匹敌的,所以说如果你对NAS有性能方面的需求,或者和我一样是个极致的折腾爱好者,那么极空间Z423旗舰版可能就是你需要的。

好了,以上就是今天给大家分享的内容,我是爱分享的Stark-C,如果今天的内容对你有帮助请记得收藏,顺便点点关注,我会经常给大家分享各类有意思的软件和免费干货,咱们下期再见!谢谢大家~

展开 收起

ZSpace 极空间 私有云 Z4Pro 8G版 4盘位NAS存储(N97、8GB)

ZSpace 极空间 私有云 Z4Pro 8G版 4盘位NAS存储(N97、8GB)

2499元起

ZSpace 极空间 私有云 Z4Pro 性能版 NAS存储(N305、16GB)

ZSpace 极空间 私有云 Z4Pro 性能版 NAS存储(N305、16GB)

3299元起

ZSpace 极空间 私有云 Z4Pro 16G版 4盘位NAS存储(N97、16GB)

ZSpace 极空间 私有云 Z4Pro 16G版 4盘位NAS存储(N97、16GB)

2599元起

ZSpace 极空间 私有云Z2Pro 四核2盘位NAS

ZSpace 极空间 私有云Z2Pro 四核2盘位NAS

1099元起

ZSpace 极空间 私有云 Z423 旗舰版 8盘位NAS存储(锐龙R7-5825U、64GB)

ZSpace 极空间 私有云 Z423 旗舰版 8盘位NAS存储(锐龙R7-5825U、64GB)

3999元起

ZSpace 极空间 私有云 T2 2盘位NAS存储(RK 3568、4GB)

ZSpace 极空间 私有云 T2 2盘位NAS存储(RK 3568、4GB)

1599元起

ZSpace 极空间 私有云Z2Pro 四核2盘位NAS家庭个人云网络存储服务器

ZSpace 极空间 私有云Z2Pro 四核2盘位NAS家庭个人云网络存储服务器

1299元起

ZSpace 极空间 私有云Q2C四核Nas网络存储服务器 家庭个人云网盘雪山白

ZSpace 极空间 私有云Q2C四核Nas网络存储服务器 家庭个人云网盘雪山白

879元起

ZSpace 极空间 私有云Q2C 2盘位 Nas网络存储服务器

ZSpace 极空间 私有云Q2C 2盘位 Nas网络存储服务器

899元起

ZSpace 极空间 Z4S 旗舰版 4盘位NAS(奔腾N6005、8GB)

ZSpace 极空间 Z4S 旗舰版 4盘位NAS(奔腾N6005、8GB)

2399元起

ZSpace 极空间 Z4S 8G版 4盘位NAS(赛扬N5105、8GB)

ZSpace 极空间 Z4S 8G版 4盘位NAS(赛扬N5105、8GB)

2499元起

ZSpace 极空间 P8 十二盘NAS存储 双万兆网口

ZSpace 极空间 P8 十二盘NAS存储 双万兆网口

暂无报价

ZSpace 极空间 私有云T2 随身数据魔盒 便携Mini蓝光机 数码投影伴侣 全固态NAS网络存储

ZSpace 极空间 私有云T2 随身数据魔盒 便携Mini蓝光机 数码投影伴侣 全固态NAS网络存储

3099元起

ZSpace 极空间 私有云Z2Pro 四核Nas网络存储服务器

ZSpace 极空间 私有云Z2Pro 四核Nas网络存储服务器

2699元起

极空间 Z4S旗舰版8G NAS网络存储 四盘位磁盘阵列服务器 企业私有云存储 文件数据共享备份网盘 Z4S旗舰版-8G珍珠白(免费升16G内存) 单机无硬盘

极空间 Z4S旗舰版8G NAS网络存储 四盘位磁盘阵列服务器 企业私有云存储 文件数据共享备份网盘 Z4S旗舰版-8G珍珠白(免费升16G内存) 单机无硬盘

2999元起

极空间私有云Z423 四盘位 NAS网络存储服务器

极空间私有云Z423 四盘位 NAS网络存储服务器

6099元起
21评论

  • 精彩
  • 最新
提示信息

取消
确认
评论举报

相关好价推荐
查看更多好价

相关文章推荐

更多精彩文章
更多精彩文章
最新文章 热门文章
177
扫一下,分享更方便,购买更轻松