OpenAI 时隔五年重磅开源！GPT-OSS 模型在 NAS 部署指南~

Hello 大家好，我是 David

订阅我的频道 ，分享更多 NAS 教程和资讯 ~

GPT-OSS：

OpenAI 自 GPT-2 以来，首次推出 GPT-OSS-120B 和 GPT-OSS-20B 两款开放轻量级语言模型，可在低成本下实现强大的实际应用性能。

性能对标：

• GPT-OSS-120B：核心推理基准接近 o4-mini，可在单个 80GB GPU 运行

• GPT-OSS-20B：常见基准接近 o3-mini，仅需 16GB 内存即可在边缘设备运行

安装

这里需要安装 Ollama 和 Open WebUI，前者作为本地模型运行框架，后者这是作为操作界面

Ollama（一个用于在本地运行大型语言模型（LLM）的开源框架）

services: ollama: image: ollama/ollama:latest container_name: ollama volumes: - /volume1/docker/ollama:/root/.ollama ports: - 11434:11434 deploy: resources: reservations: devices: - driver: nvidia count: all capabilities: [gpu] restart: unless-stopped

Open WebUI（一个可扩展、功能丰富且用户友好的自托管 AI 平台）

services: open-webui: image: ghcr.io/open-webui/open-webui:main container_name: open-webui volumes: - /volume1/docker/open-webui:/app/backend/data ports: - 8080:8080 restart: unless-stopped

使用

来到 Ollama 官网的模型库，目前 GPT-OSS 已经提供拉取下载了

https://ollama.com/library/gpt-oss

TIP：

由于我的显卡只有 8G 显存，这里就选择下载最小的 20b 模型

来到 Ollama 容器的终端，输入：ollama run gpt-oss:20b

TIP：

如果提示这个，说明版本太旧了需要升级镜像

正常情况输入完命令，就能看到正在下载了

下载完成以后会自动加载进入模型

来到 Open WebUI 页面就能看到 gpt-oss:20b 模型了

输入“hello world!”，回答完毕需要大概 2 分钟左右，速度太慢了只能说能跑

此时显存是基本占用满的，20b 模型对于 8G 显存来说承受着这个年纪不该承受的压力

测试了一下上传图片是不能识别的，而且用时比之前更久

总结

有兴趣的可以部署测试，这个模型需要 16G 显存显卡才能很好跑起来，我的 8G 属实太为难了。

综合推荐：⭐⭐⭐（看个人需要）

使用体验：⭐⭐⭐（对显卡有一定要求）

部署难易：⭐⭐（简单）︎

作者声明本文无利益相关，欢迎值友理性交流，和谐讨论～