绿联 NAS 推出 AI Plugins，本地模型使用 GPU 加速到底怎么样？

Hello 大家好，我是 David

订阅我的频道 ，分享更多 NAS 教程和资讯 ~

AI Plugins：

一个基于容器化技术构建的一站式大模型应用，深度整合了 Open WebUI、Ollama 和 IPEX-LLM 三大核心组件。它不仅提供了便捷的用户界面，还通过调用 Intel GPU 的硬件加速能力，显著提升大语言模型的运行效率。

安装

AI Plugins 可以在应用中心下载

目前只适用于绿联 DXP480T Plus、DXP4800 Plus、DXP6800系列、DXP8800系列

其他系统如果也想部署，可以看看之前的教程，依靠纯 CPU 也可以运行

NAS + Open WebUI 轻松搭建本地大模型 Web 交互界面_NAS存储_什么值得买

手把手教你在 NAS 上部署本地 DeepSeek-R1 大语言模型_服务软件_什么值得买

Docker Compose

services: open-webui: image: ghcr.io/open-webui/open-webui:main container_name: open-webui volumes: - /volume1/docker/open-webui:/app/backend/data ports: - "11433:8080" ollama: image: ollama/ollama:latest container_name: ollama volumes: - /volume1/docker/ollama:/root/.ollama ports: - "11434:11434"

使用

浏览器中输入 http://NAS的IP:13888 就能看到界面

点击开始

首次使用需要先创建账号，按要求填写信息

点击“确认，开始使用”

右上角，点击设置

这里我切换为深色主题，截图展示效果好一点

应用默认内置了 deepseek-r1:1.5b 模型

点击上面搜索，可以下载其他模型

测试

主要的测试目的是对比调用核显的 AI Plugins 和单纯依靠 CPU 进行推理，两者性能和速度上究竟相差多少。为了保证测试结果尽可能真实，这里选择了十个哲学问题作为提问，分别测试 deepseek-r1:7b 和 deepseek-r1:14b 两个不同大小的模型。

测试硬件：

• 设备：绿联 DXP480T Plus

• 处理器：12th Gen Intel(R) Core(TM) i5-1235U

• 内存：8+32GB DDR5 4800MHz

测试对象：

• 深度整合的 AI Plugins，调用核显加速推理

• Ollama + Open WebUI，纯 CPU 推理

测试模型：

• deepseek-r1:7b

• deepseek-r1:14b

测试问题：

• 我们为什么存在？

• 什么是真理?

• 我们如何认识世界?

• 人是否有自由意志?

• 上帝存在吗?

• 什么是正义?

• 心灵和身体是什么关系?

• 什么是幸福?

• 美是什么?

• 死亡意味着什么?

TIP：

由于测试数量比较多，这里就不一一展示截图，直接只给出测试获得的数据。

GPU加速推理

这里是用绿联封装推出的 AI Plugins，可以直接调用核显加速进行推理

启动未加载模型：CPU：1%、GPU：0%、内存：632MB

deepseek-r1:7b

deepseek-r1:14b

CPU 推理

这里我是用 Ollama + Open WebUI 进行测试，尽可能保证测试环境一致的。

启动未加载模型：CPU：1%、GPU：0%、内存：566MB

deepseek-r1:7b

因为感觉相差比较大，所以又跑了一次 7b 模型，重新测试了一遍数据

TIP：

这里用 CPU 跑实在是太慢了，这也是为什么我之前说的不建议下载 14b 模型推理的原因，基本上就是毫无使用体验的。

deepseek-r1:14b

QwQ-32B

QwQ-32B 大语言模型是由阿里通义千问 Qwen 团队推出的。这款仅有 320 亿参数的模型，但在性能上不仅能够媲美拥有 6710 亿参数的 DeepSeek-R1（其中370亿被激活），更在某些测试中超越了对方。

这里我也测试了一下，号称可以比肩满血版 Deepseek-r1 的 QwQ-32B。回复问题的质量确实挺不错的，算是比较聪明的了。当然毕竟 32b 模型摆在这里，用核显推理速度肯定不快的，具体详细数据可以看下面表格。

qwq:32b

总结

说实话吧，一开始我其实是觉得绿联大题小作的，毕竟只是 Open WebUI+Ollama，没必要特别介绍说这是深度整合的 AI Plugins，但试过才知道这个 IPEX-LLM 确实有两下子。

从上面测试结果看已经很直观了，对比纯 CPU 推理，调用核显推理速度更快，运行也更加的稳定。而且反正核显平时也是闲着，还不如分担一下 CPU 的压力，做到“事半功倍”的效果。

不过这里还是要说一个问题，那就是目前只能在局域网才能访问。绿联应该好好整合，最好是重新开发一个自家界面去适配 Ollama，这样用户也可以更加简单上手。让 AI 改变生活，而不是空中楼阁。