基于AMD mi50洋垃圾显卡搭建我的ai服务器

前言：我的虚拟机系统从最开始的pve变到unraid，现在又由unraid变成pve最新9.0版，之前变成unraid是为了实现方便的硬件直通、还有直接提供了docker，当时因为pve硬件直通需要自己修改代码，docker也需要自己安装，作为小白整起来比较麻烦；现在又换回pve是因为unraid无法安装AMD mi50显卡的驱动，通过显卡直通给ubuntu的方式也不行，为此我还在ubuntu虚拟机中折腾了将近两个星期，始终无法正确识别显卡，所以只能又安装回pve，当然unraid系统仍然保留，在有需要时随时可以回去；unraid还有一个最大的缺点，就是底层基于‌Slackware Linux‌发行版定制开发，该底层系统十分小众，后续在硬件兼容性可扩展性方面不足，而pve底层基于debian系统，可以很方便的扩展各种硬件，因为可以使用包管理器自由安装各种硬件的驱动，当然最关键的是新版pve也可以像unraid一样通过UI界面设置的方式直通各种硬件，免去修改配置文件的麻烦，小白也很容易上手。

一、硬件选择

此次硬件主要包括在原有allinone服务器硬件的基础上新增amd mi50 32G显卡，显卡改装风扇，显卡延长线，显卡支架，2000w电源等硬件。

MI50 32G 算力卡 普通主机无法点亮 自改bios不质保不售后非全新-tmall.com天猫

mi50 32G显卡

DIY三显卡支架外置多显卡固定显卡底座支持标准ATX/服务器电源-淘宝网

显卡支架

PCI-E 3.0x16显卡延长线高速转接线 pcie ATX 兼容所有显卡 满速-淘宝网

显卡延长线

全新高端巨龙风暴2000W1800W1600W1250W全模组台式机静音电脑电源-淘宝网

2000w电源

硬件组装最终成品

二、pve安装

这个网上教程很多，也很简单，直接在pve官网https://www.proxmox.com/en/downloads/proxmox-virtual-environment/iso下载最新稳定版ISO镜像，使用rufus等写盘工具将镜像写入U盘，然后插入主机，选择U盘启动后按照提示操作即可。

具体可以参考这两篇文章https://blog.csdn.net/qq_37429313/article/details/120575831

需要注意的地方主要是域名和ip地址设置这两个地方，域名随便设置一个XX.com之类的就行，其中xx将代表你的主机名称；pve9.0的ip地址默认是ipv6，需要手动改成ipv4，/64改成/24。

以下优化一下存储空间：

1、合并默认的分区 local 和 local-lvm

PVE默认将硬盘分成两个分区，存放备份和镜像的local 和 存放实际虚拟机数据的local-lvm

但划分成两块，很容易出现其中一个分区空间用完了，而另一个却空闲的情况，所以我在安装好系统后的第一步是将两个分区合并。

步骤：

1、网页上右键pve节点，选择 shell 进入命令行控制台

2、使用指令 lvs 查看当前有几个 logic volume，如下，我们现在要做的就是把LV data 给合并到 root：

lvs

3、删除lvm分区（ 请一定确保删除的时候分区内没有数据 ），shell输入：

lvremove pve/data

4、将空出来的空间分给local，shell输入：

lvextend -l +100%FREE -r pve/root

5、数据中心-存储-删除local-lvm

6、调整local，允许存放所有类型的内容

最后检查local，获取了先前local-lvm的硬盘空间即正确完成。

安装pve_source方便后续优化设置：

安装：

wget -q -O /root/pve_source.tar.gz 'https://bbs.x86pi.cn/file/topic/2023-11-28/file/01ac88d7d2b840cb88c15cb5e19d4305b2.gz' && tar zxvf /root/pve_source.tar.gz && /root/./pve_source

后续运行：

./pve_source

根据提示在pve_source中完成换源等优化操作。

三、显卡驱动安装

驱动安装配置参考这篇文章https://zhuanlan.zhihu.com/p/1899587603667333421

udo apt update
sudo apt install "linux-headers-$(uname -r)"
sudo apt install -y python3-setuptools python3-wheel
sudo usermod -a -G render,video $LOGNAME
wget https://repo.radeon.com/amdgpu-install/6.3.3/ubuntu/jammy/amdgpu-install_6.3.60303-1_all.deb
sudo apt install ./amdgpu-install_6.3.60303-1_all.deb
sudo apt update
sudo apt install amdgpu-dkms rocm

四、docker安装

docker安装参考

以下是在Proxmox VE上安装和使用Docker的步骤：

安装Docker：

• 在Proxmox VE的管理界面中，选择要安装Docker的节点。

• 打开终端或SSH客户端，并输入以下命令：

apt-get update apt-get install docker.io

• 安装完成后，输入以下命令启动Docker服务：

systemctl start docker

使用Docker：

• 在Proxmox VE的管理界面中，选择要创建Docker容器的节点。

• 打开终端或SSH客户端，并输入以下命令创建新的Docker容器：

docker run -it --name <容器名称> <镜像名称>

• 根据需要设置容器的配置和参数，如端口、卷和环境变量等。

• 在容器中运行所需的应用程序或服务。

  最后需要安装docker-compose，这个比较简单，直接运行命令：sudo apt install docker-compose

  如果系统提示没有sudo命令，就使用apt install sudo 命令先安装sudo

五、大模型服务部署

1.部署ollama

先尝试ollama，后续再折腾vllm，实现多人并发访问以及多显卡并行计算支持。

ollama使用docker-compose安装，代码如下：

version: '3.8'

services:

ollama:

image: docker.m.daocloud.io/ollama/ollama:rocm

container_name: ollama

devices:

- "/dev/kfd:/dev/kfd"

- "/dev/dri:/dev/dri"

environment:

- OLLAMA_AMD_GPU=true

- HSA_OVERRIDE_GFX_VERSION=9.0.6

- HIP_VISIBLE_DEVICES=0

volumes:

- ollama_data:/root/.ollama

ports:

- "11434:11434"

restart: unless-stopped

privileged: true

shm_size: "24gb"

volumes:

ollama_data:

driver: local

driver_opts:

type: none

o: bind

device: /mnt/pve/unraid/appdata/ollama

ollama测试结果

要在大模型运行实时查看GPU占用情况，可以使用命令：watch -n 1 rocm-smi，其中1代表1秒钟刷新一次。

要在大模型运行的时候显示token速度，启动模型时加上参数--verbose：

ollama run qwen3:32b --verbose

下载解除限制大模型的关键词：abliterated

2.部署vllm

完成部署教程参考下面两篇文章：

以及参考下面的视频：

2.1单卡部署

1)提前从huaggingface国内镜像站点hf-mirror.com下载好模型，如下图所示：

模型下载示意

2）拉取docker镜像docker pull nalanzeyu/vllm-gfx906:v0.9.0-rocm6.3

3）启动容器

docker run --name vllm --privileged=true

--restart=unless-stopped

--network=host

--ipc=host

--shm-size=16g

--device=/dev/kfd

--device=/dev/dri

--group-add video

--cap-add=SYS_PTRACE

--security-opt seccomp=unconfined

-v /mnt/pve/unraid/appdata/vllm/models:/models

nalanzeyu/vllm-gfx906:v0.9.0-rocm6.3

vllm serve /models/jnvdx666/Qwen3-32B-abliterated-awq

--tensor-parallel-size 1

--quantization awq

--max-model-len 10000

--disable-log-requests

--dtype float16

如果需要在线下载模型，需要增加huggingface国内代理和配置模型临时缓存路径：

-e HF_ENDPOINT=https://hf-mirror.com

-v /mnt/pve/unraid/appdata/vllm/cache:/root/.cache

2.2 多卡部署

未完待续。

3.部署open-webui

1） 启动容器

docker run -d -p 3000:8080 --privileged=true --add-host=host.docker.internal:host-gateway -v /mnt/pve/docker/open-webui:/app/backend/data --name open-webui --restart always dyrnq/open-webui

open-wenui效果展示

需要联网搜索参考下面的文章

2）连接ollma/vllm

由于容器启动命令里已经内置了ollama连接相关命令，容器启动时已经自动连接好ollama，这里仅需连接vllm，依次点击右上角头像->管理员面板->设置->外部连接，添加一个外部连接，见下图：

如果设置无误，在模型列表里就可以看到你的模型了。

目前遇到的问题主要是提问偶发需要反应三四十秒钟才开始回答，有时甚至要等很久才回答，查看后台发现open-webui已经回答完毕了，但是显卡还是一直在高速运转，ollama后台并没有停止运行的意思，后续研究解决办法。

4.在线下载huggingface模型/将下载的模型离线导入ollama

1.离线导入

为重复利用huggingface上的海量模型，解决ollama模型数量不足的问题，需要研究导入huggingface摸到ollama的方法，主要参考下文：

1）下载huaggingface模型（通过镜像站点hf-mirror.com）到ollama的模型存储路径下；

2）创建文件modelfile，在其他填入模型路径及名称FROM ./gemma-3-27b-it-abliterated.Q6_K.gguf ：

下载模型、创建modelfile文件

modelfile填写模型路径及名称

3）使用docker命令进入容器：docker exec -it ollama /bin/bash，cd到模型存储路径下：cd /root/.ollama/models，执行模型创建命令：ollama create gemma-3-27b-it-abliterated -f modelfile

导入模型运行结果

4）查看模型列表，确认模型是否导入成功：ollama ls

验证模型是否成功导入

模型导入后的已知问题：

①视觉能力失效

time=2025-08-16T06:49:21.346Z level=INFO source=images.go:714 msg="request failed: Get "https://registry.ollama.ai/v2/library/llava/manifests/34b": read tcp 172.18.0.2:49824->104.21.75.227:443: read: connection reset by peer"

2.在线下载

以下载下图模型为例:

huggingface示例模型

下载命令： ollama pull http://hf-mirror.com/mradermacher/Huihui-Qwen3-30B-A3B-Instruct-2507-abliterated-GGUF:Q6_K

在线下载huggingface模型示意

下载速度超级慢，建议离线下载后导入

5.实现open-webui联网搜索

通过自建搜索引擎服务实现完全免费的在线搜索服务，具体参考下面这篇文章：

原教程存在多出错误，结合大模型支持根据容器报错日志修正了多处代码：

1）在docker路径下创建搜索引擎SearXNG的文件夹，在里面创建相应的配置文件：

配置文件

容器启动文件

①settings.yml（已默认启动响应速度比较快的搜索引擎）：

use_default_settings: true # 打开默认引擎加载

general:

debug: true

engines:

# 百度搜索

- name: baidu

engine: baidu

shortcut: baidu

disabled: false

# 360搜索

- name: 360search

engine: 360search

shortcut: 360so

disabled: false

# 搜狗搜索

- name: sogou

engine: sogou

shortcut: sogou

disabled: false

# 新增搜索引擎（根据测试结果补充）

- name: rightdao

engine: custom

shortcut: rd

timeout: 5.0

disabled: false

- name: crowdview

engine: custom

shortcut: cv

timeout: 5.0

disabled: false

- name: wikimini

engine: wiki

shortcut: wm

timeout: 5.0

disabled: false

- name: bbp

engine: custom

shortcut: bb

timeout: 5.0

disabled: false

# 原有引擎保留

- name: bing

engine: bing

shortcut: bi

timeout: 5.0

disabled: false

- name: bilibili

engine: bilibili

shortcut: bil

timeout: 5.0

disabled: false

server:

secret_key: "keyofweidongdong" # 已修改

limiter: false

image_proxy: true

search:

formats:

- html

- json # 启用JSON接口

ui:

static_use_hash: true

valkey:

url: valkey://valkey:6379/0

doi_resolvers:

oadoi.org: 'https://oadoi.org/'

doi.org: 'https://doi.org/'

doai.io: 'https://dissem.in/'

sci-hub.se: 'https://sci-hub.se/'

sci-hub.st: 'https://sci-hub.st/'

sci-hub.ru: 'https://sci-hub.ru/'

default_doi_resolver: 'oadoi.org'

② limiter.toml：

# See https://github.com/searxng/searxng/blob/master/searx/limiter.toml

[botdetection.ip_limit]

# activate link_token method in the ip_limit method

link_token = false

③docker-compose.yml：

networks: # 添加网络定义部分

searxng: # 定义searxng网络

driver: bridge

services:

valkey:

container_name: valkey-searxng

image: valkey/valkey:8-alpine

command: valkey-server --save 30 1 --loglevel warning

restart: unless-stopped

privileged: true

user: "1000:1000"

networks:

- searxng

volumes:

- /mnt/pve/docker/searxng/valkey:/data

cap_drop:

- ALL

cap_add:

- SETGID

- SETUID

- DAC_OVERRIDE

logging:

driver: "json-file"

options:

max-size: "1m"

max-file: "1"

searxng:

container_name: searxng

image: searxng/searxng:latest

restart: unless-stopped

privileged: true

networks:

- searxng

ports:

# 端口配置 8082 绑定

- 8082:8080

volumes:

- /mnt/pve/docker/searxng/searxng/local/settings.yml:/usr/local/searxng/searx/settings.yml

- /mnt/pve/docker/searxng/searxng/:/etc/searxng:rw

environment:

- SEARXNG_BASE_URL=http://192.168.2.99:8082 # https://${SEARXNG_HOSTNAME:-localhost}/

- UWSGI_WORKERS=${SEARXNG_UWSGI_WORKERS:-4}

- UWSGI_THREADS=${SEARXNG_UWSGI_THREADS:-4}

cap_drop:

- ALL

cap_add:

- CHOWN

- SETGID

- SETUID

logging:

driver: "json-file"

options:

max-size: "1m"

max-file: "1"

2）在命令行中启动服务

容器部署

3）在浏览器中输入搜索引擎地址，测试搜索效果：

成功启用国内主流搜索引擎展示

搜索效果展示

6）根据搜索响应时间优化searxng的搜索服务引擎，将响应慢的搜索引擎禁用（）：

5）在ope

搜索引擎响应时间测试

只启用响应时间快的搜索引擎

6)open-webui中启用搜索服务：

联网设置页面

6)open-webui联网效果测试

open-webui联网效果演示

SearXNG搜索结果很丰富，但是open-webui并没有对搜索到的结果深入解析，如需更加丰富的内容，需要增加提示词。

六、unraid虚拟机和docker迁移

虚拟机迁移

迁移虚拟机之前，首先需要将原unriad磁盘挂载，以便复制之前的磁盘镜像文件，具体教程参考下文

将原来unraid中的虚拟磁盘导入pve虚拟机中：qm importdisk <存储位置> --format qcow2
例如：

qm importdisk 100 /mnt/pve/unraid/domains/群晖/群晖/arpl.img local --format qcow2

qm importdisk 100 /mnt/pve/unraid/domains/群晖/群晖/vdisk2.qcow2 local --format qcow2

对于黑群晖这种需要引导盘的系统，记得到虚拟机的选项设置中将引导盘设置为第一启动项。

对导入的虚拟磁盘设置启动顺序

挂载硬盘

但挂载其他格式的硬盘的时候，是用不了上面的方式挂载的。不过接下来的操作，原理都差不多，都是通过UUID进行挂载。

### 获取UUID ### blkid # 如果一行中没有UUID，那就用PARTUUID的内容代替，也可以的。

输入blkid 后内容非常的多，看起来十分缭乱，各位需要仔细一些。与此同时，需要通过像“/dev/sde”这样的设备名称，来找出需要挂载的硬盘的UUID。

找到对应的UUID后，接着进行下面的操作。

1.修改fstab，挂载硬盘 nano /etc/fstab UUID="xxxxx" /mnt/ZZZ auto defaults 0 0 ## 举例 ## UUID="38E6DA24E6D9E264" /mnt/ISOwin auto defaults,nofail 0 0 ## 参数解析 ## # UUID="xxxxx" : 输入blkid之后，获取的硬盘UUID； # /mnt/ZZZ : 挂载硬盘的目录，需要我们mkdir手动创建，ZZZ这个目录名称自拟； # auto : 自动识别挂载的格式，可以指定具体的格式，但需要和硬盘的格式对应，比如ntfs、ext4； # defaults : 挂载硬盘的类型，defaults包含rw,suid,dev,exec,auto,nouser,async。我只认识rw读写，ro只读； # nofail : 可以像我上面举例的那样添加这个，当硬盘丢失或者拔出时，不会因为硬盘不存在导致PVE报错进不去； # 第一个数字0 : 是否对文件系统进行转储备份,0为不需要备份，1为需要备份，一般设置为0； # 第二个数字0 : 指定系统启动时进行文件系统检查(fsck)的顺序，0为不检查，1优先级最高(通常用于根文件系统)，2则在1之后检查； 2.创建/mnt/ZZZ目录 mkdir /mnt/ZZZ 3.检查错误 ### mount -a 4.检查没问题，重新加载 ### systemctl daemon-reload

然后，我们需要检查一下硬盘的读写情况。一般以ntfs格式挂载的U盘，只能读取(ro)，无法写入，如下图。

# 检查硬盘的读写情况 mount

如果希望挂载的ntfs格式的硬盘能读写(rw)，需要再进行下面的操作。

# 安装ntfs-3g apt install ntfs-3g -y # 然后重启就行了 reboot

完成上面的操作之后，接着在“数据中心”，“存储”，添加“目录”。

ID的话，我的就和目录名称一样了；目录的话，就是我们之前通过mkdir创建的目录；内容，大家根据自己的需求选择，全选也行。

如果各位像我一样，原先硬盘里储存有ISO镜像，则需要在硬盘里创建template/iso路径的文件夹(上面的内容处勾选了ISO镜像的话，会自动创建)，再把镜像移进iso文件夹里面，这样PVE就能读取到了。

docker迁移

首先需要将存储在群晖中的docker路径还有影视资源路径挂载到pve，由于挂载nfs失败，这里使用的是挂载smb的方法，具体教程如下：

挂载群晖目录

docker迁移这个部分只需要将之前的容器导出为镜像备用，然后在pve中导入镜像，重新启动容器即可，所有操作均在Portainer中完成。

安装Portainer：

docker run -d -p 9000:9000 -p 9443:9443 --name portainer --restart=always -v /run/docker.sock:/var/run/docker.sock -v /mnt/pve/docker/Portainer/data:/data portainer/portainer-ce:latest

七、进阶设置

1.配置开机延迟一定时间执行指定命令，实现群晖启动后重新挂载群晖目录

1）在/etc/systemd/system文件中新建一个自定义服务文件mount-docker.service，在其中填入一下内容：

[Unit]

Description=Delayed Mount and Docker Restart After Network Connectivity to 192.168.2.2

After=network.target local-fs.target docker.service docker.socket

Wants=network-online.target # 强烈建议网络已就绪

# 以下依赖确保Docker相关服务可用

Requires=docker.service docker.socket

[Service]

Type=oneshot

# 等待192.168.2.2可ping通后延迟10秒

ExecStartPre=/bin/sh -c 'until ping -c 1 192.168.2.2; do sleep 1; done && sleep 10'

# 执行挂载和Docker容器重启

ExecStart=/bin/bash -c '/usr/bin/mount -a && echo "Mount completed at $(date)" >> /var/log/mount-status.log; /usr/bin/docker restart $(/usr/bin/docker ps -q 2>/dev/null) && echo "Docker containers restarted at $(date)" >> /var/log/docker-restart-status.log || echo "Docker containers restart failed at $(date)" >> /var/log/docker-restart-status.log'

[Install]

WantedBy=multi-user.target

2）更新并设置开机自启动

sudo systemctl daemon-reload

sudo systemctl enable mount-docker.service

下次开机就会等群晖的ip地址能够ping通并延迟10s再挂载，确保群晖完全启动好。

注意：为避免编码格式导致中文乱码问题，所有文本编辑均通过vim等工具实现，不要从WinScp等工具中复制黏贴。

2.下载最新版pve手机客户端

由于pve手机客户端只发布在google play上，国内用户基本无法直接下载，以下给出具体解决办法：

1）在pve官网获取手机客户端的google play地址

直接百度proxmox手机端，找到官网打开，查找地址

https://play.google.com/store/apps/details?id=com.proxmox.app.pve_flutter_frontend

2）.将地址复制到下面的解析网站，解析后下载

3）合并下载下来的分散文件，使用apttool m工具合并，具体步骤参考下面的文章：

https://www.bilibili.com/opus/864426781839458304

pve手机客户端使用效果

3.安装nut实现绑定群晖的网络ups

主要参考下面两篇文章

①下载和安装nut套件：apt install nut -y

②修改配置文件/etc/nut/nut.conf，将模式改为网络模式，并设置群晖ip地址：

③启动 nut-client 服务，并设置开机自动启动

systemctl start nut-client && systemctl enable nut-client

④测试是否成功连接 UPS 服务器

upsc ups@192.168.2.2

⑤群晖DSM7.0以上系统设置断电自动关机

使用 SSH 软件以 root 用户登录群晖，修改 /usr/syno/bin/synoups 文件，找到 UPSSafeMode () ，在最后面加上一行 poweroff

vim /usr/syno/bin/synoups ，注释下图中的语句并增加poweroff，按ESC，输入:wq保存退出

⑥继续完善pve内的nut配置文件（未完待续。。。。。。）

4.安装smb服务

参考下面的文章

八、总结与建议

我认为AMD mi50 32G显卡是当前本地运行32B大模型的最佳性价比显卡，后续我打算整双卡甚至四卡实现70b大模型部署，并且折腾明白vllm，实现多卡并行计算。至此，我的allinone服务器从普通影音+文件服务器升级为全能ai服务器。

九、遗留问题

1.出现插上intel X540-t2万兆网卡后pve系统无法启动的问题，报如下错误（Failed to start system-journald.service）：

intel X540-t2万兆网卡导致pve系统无法启动

发生上述错误的原因为pve9.0与intel x540-T2网卡不兼容，直接屏蔽该网卡可解决，因为万兆网卡要直通给黑群晖用，屏蔽后不影响系统使用，具体步骤如下：

屏蔽特定PCIe设备

在文件/etc/modprobe.d/pve-blacklist.conf中添加内容：blacklist ixgbe

屏蔽网卡驱动

屏蔽网卡驱动后重启，成功进入系统。

有时候报该错误也有可能只是错误日志满了，清除日志重启即可：情况/var/log/jounal/目录下的内容即可。

2.直通物理网卡后，原虚拟网卡变成未联机，这在unraid中直通时没有遇到该问题

直通物理网卡导致原虚拟网卡未联机

有时重启后又变成另外一个网络联机，为了避免这个问题，暂时将虚拟网卡移除，移除后又导致另外一个网口无法识别：

移除虚拟网卡后导致直通的物理网卡另外一个网口无法识别

通过一通折腾，发现是我把网口搞混淆了，群晖迁移后网口序号和在unraid中的交换了，导致我误认为未联机的是虚拟网卡，其实未联机的是另外一个网络网口。

3.安装mi50显卡驱动后，移除显卡，会导致网口不亮，pve无法连接网络

此问题是由于pve基于的底层系统debian在更新pcie设备后，会重新编号网口，使用ip link show | less命令查看序号2编号为enpXs0的网络设备，然后将编号enpXs0同步到/etc/network/interfaces文件，使用systemctl restart networking命令重启网络即可解决。

4.群晖nfs无法挂载

挂载群晖nfs无法识别

临时手动挂载：sudo mount -t nfs 192.168.2.2:/volume2/影视 /mnt/pve/影视

永久挂载，在/etc/fstab文件中添加以下行：192.168.2.2:/volume2/影视 /mnt/pve/影视 nfs defaults 0 0

重载修改后的文件：systemctl daemon-reload

重新挂载所有文件系统以应用更改：sudo mount -a

取消挂载：

3.portainer无法读sudo umount /mnt/nfs_share取本地docker

portainer无法读取本地docker

停止容器：docker stop portainer，删除容器：docker rm portainer，使用特权模式重新启动容器可解决：

docker run --privileged=true -d -p 9000:9000 -p 9443:9443 --name portainer --restart=always -v /run/docker.sock:/var/run/docker.sock -v /mnt/pve/docker/Portainer/data:/data portainer/portainer-ce:latest

4.smb挂载时中文目录乱码

中文目录乱码

附录 pve常用命令

1.强制关闭虚拟机：qm stop 100(虚拟机id)

2.进入docker容器docker exec -it portainer /bin/bash或docker exec -it portainer /bin/sh

3.查看docker容器docker logs -f portainer

4.compose-docker启动容器命令：docker-compose up -d

5.一键重启所有容器 ：docker restart $(docker ps -q)/一键关闭所有容器:docker stop $(docker ps -q)/启动所有容器：docker start $(docker ps -a | awk '{ print $1}' | tail -n +2)