什么值得买App下载 App ›
连续签到专享现金活动

PVE,unubtu虚拟机,llama.cpp+Qwen3.5-35B-A3B,mi50双卡已加载

04-05 00:32

# VM 10.1.1.224 安装配置完整方案

> 文档日期: 2026-04-04

> 服务器: PVE 10.1.1.221 (浪潮服务器SA5212M5)

> VM IP: 10.1.1.224

> 状态: ✅ 已完成

---

## 一、系统概述

### 1.1 硬件配置

| 项目 | 配置 |

|------|------|

| PVE 宿主机 | 浪潮 SA5212M5 (10.1.1.221) |

| CPU | 2× Intel Xeon Platinum 8171M (52C/104T) |

| 内存 | 160GB |

| GPU | 2× AMD Instinct MI50 (gfx906) 32GB HBM2 |

| VM 系统 | Ubuntu 24.04.3 LTS |

| VM 内存 | 128GB |

| VM 磁盘 | 300GB |

### 1.2 网络规划

| 设备 | IP | 用途 |

|------|-----|------|

| PVE | 10.1.1.221 | 虚拟化宿主机 |

| VM | 10.1.1.224 | LLM 推理服务器 |

---

## 二、PVE 8.4 宿主机配置

> ⚠️ 重要: 如果 PVE 8.4 已安装并配置好 GPU Passthrough,跳过此步骤。

### 2.1 安装 PVE 8.4

从官网下载 PVE 8.4 ISO 并安装到服务器。

### 2.2 基础配置

```bash

# 设置 root 密码

passwd root

# SSH 公钥登录

mkdir -p ~/.ssh

echo 'ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAILuuJgN7r9h7kXM3F2F7aW9K3mBxPq8N7pXp3b8vW4a santu@santu-unubtu-langchao' >> ~/.ssh/authorized_keys

chmod 600 ~/.ssh/authorized_keys

# 移除企业源(避免更新失败)

rm -f /etc/apt/sources.list.d/pve-enterprise.list

rm -f /etc/apt/sources.list.d/ceph.list

apt update

```

### 2.3 安装编译工具和内核头文件

```bash

# PVE 8.4 使用 6.8.12 内核,需要对应的头文件

apt install -y git build-essential dkms

apt install -y pve-headers

```

---

## 三、GPU Passthrough 配置 (vendor-reset)

> 原因: AMD MI50 需要 vendor-reset 驱动才能在 VFIO 环境下正常重置

### 3.1 安装 vendor-reset 模块

```bash

# 克隆 vendor-reset 源码

cd /tmp

curl -sL 'https://gitlab.com/33mirrors/vendor-reset/-/archive/master/vendor-reset-master.tar.gz' -o vendor-reset.tar.gz

tar -xzf vendor-reset.tar.gz

cd vendor-reset-master

# 修复内核兼容性问题(内核 6.x 移除了 strlcpy)

sed -i 's/strlcpy/strscpy/g' src/amd/amdgpu/atom.c

# 编译模块

make KERNEL_PATH=/lib/modules/$(uname -r)/build

# 安装模块

mkdir -p /lib/modules/$(uname -r)/extra

cp vendor-reset.ko /lib/modules/$(uname -r)/extra/

depmod -a

modprobe vendor-reset

# 开机自动加载

echo 'vendor-reset' >> /etc/modules

```

### 3.2 下载 udev 规则

```bash

curl -sL 'https://raw.githubusercontent.com/gnif/vendor-reset/master/udev/99-vendor-reset.rules' -o /etc/udev/rules.d/99-vendor-reset.rules

```

> 注意: Vega20 (0x66a1) 已在规则中,无需额外配置

### 3.3 配置 VFIO 和 IOMMU

```bash

# /etc/modprobe.d/amdgpu.conf - 指定 GPU 设备 ID

cat > /etc/modprobe.d/amdgpu.conf << 'EOF'

options vfio-pci ids=1002:66a1,1002:66a1

EOF

```

```bash

# /etc/modules - 加载必要模块

cat > /etc/modules << 'EOF'

vfio

vfio_iommu_type1

vfio_virqfd

vfio_pci

vfio_amd_iommu

EOF

```

### 3.4 配置 GRUB 内核参数

```bash

# 编辑 /etc/default/grub

sed -i 's/GRUB_CMDLINE_LINUX_DEFAULT="quiet"/GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on iommu=pt pcie_acs_override=downstream,multifunction"/' /etc/default/grub

update-grub

reboot

```

### 3.5 GPU reset_method 配置

> ⚠️ 关键步骤: VM 启动前必须修改 reset_method,否则 GPU 会 "atombios stuck in loop"

```bash

# 查看 GPU 地址

lspci -nn | grep -i vega

# 输出:

# 3d:00.0 Display controller [0380]: AMD/ATI Vega20 [1002:66a1]

# b1:00.0 Display controller [0380]: AMD/ATI Vega20 [1002:66a1]

# 停止 VM (如果运行中)

qm stop 100

# 解除绑定

echo '0000:b1:00.0' > /sys/bus/pci/devices/0000:b1:00.0/driver/unbind

echo '0000:3d:00.0' > /sys/bus/pci/devices/0000:3d:00.0/driver/unbind

# 修改 reset_method (关键!)

printf 'device_specific' > /sys/bus/pci/devices/0000:b1:00.0/reset_method

printf 'device_specific' > /sys/bus/pci/devices/0000:3d:00.0/reset_method

# 验证

cat /sys/bus/pci/devices/0000:b1:00.0/reset_method

# 应该输出: device_specific

```

### 3.6 创建自动化脚本

```bash

# /usr/local/bin/setup-gpu-reset.sh

cat > /usr/local/bin/setup-gpu-reset.sh << 'EOF'

#!/bin/bash

for gpu in 0000:b1:00.0 0000:3d:00.0; do

if [ -d /sys/bus/pci/devices/$gpu ]; then

if [ -d /sys/bus/pci/devices/$gpu/driver ]; then

echo "$gpu" > /sys/bus/pci/devices/$gpu/driver/unbind 2>/dev/null

fi

printf 'device_specific' > /sys/bus/pci/devices/$gpu/reset_method

echo "Configured $gpu"

fi

done

EOF

chmod +x /usr/local/bin/setup-gpu-reset.sh

```

```bash

# /etc/systemd/system/gpu-reset.service

cat > /etc/systemd/system/gpu-reset.service << 'EOF'

[Unit]

Description=Setup GPU reset method

After=local-fs.target

[Service]

Type=oneshot

ExecStart=/usr/local/bin/setup-gpu-reset.sh

RemainAfterExit=yes

[Install]

WantedBy=multi-user.target

EOF

systemctl daemon-reload

systemctl enable gpu-reset.service

```

---

## 四、创建 VM

### 4.1 创建 VM (ID: 100)

```bash

qm create 100

--name VM-GPU

--cpu host

--cores 52

--memory 131072

--net0 virtio,bridge=vmbr0

--scsihw virtio-scsi-single

--scsi0 local-lvm:300,discard=on,ssd=1

--boot order=scsi0

--ostype l26

--bios ovmf

--machine q35

```

### 4.2 添加 GPU Passthrough

```bash

# 添加 GPU

qm set 100 --hostpci0 0000:b1:00.0

qm set 100 --hostpci1 0000:3d:00.0

# 添加 PCI BAR 配置 (32GB GPU 必须!)

# MI50 有 32GB HBM2,需要 65536MB 地址空间

qm set 100 --args '-fw_cfg opt/ovmf/X-PciMmio64Mb,string=65536'

```

### 4.3 挂载 Ubuntu ISO 并安装

```bash

# 下载 Ubuntu 24.04 ISO

wget -O /var/lib/vz/template/iso/ubuntu-24.04-live-server-amd64.iso

'https://releases.ubuntu.com/24.04/ubuntu-24.04-live-server-amd64.iso'

# 挂载 ISO

qm set 100 --ide2 local:iso/ubuntu-24.04-live-server-amd64.iso,media=cdrom

qm set 100 --boot order=scsi0,ide2

# 启动并安装

qm start 100

```

> 📌 安装注意事项:

> - 用户名: sa***

> - 密码: **************

> - 安装时跳过 cloud-init (可能导致超时错误,可忽略)

---

## 五、VM 基础配置

### 5.1 SSH 配置

```bash

# 在 VM 内执行

sudo apt update

sudo apt install -y openssh-server

sudo systemctl enable ssh

sudo systemctl start ssh

# 添加 SSH 公钥

mkdir -p ~/.ssh

echo 'ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAILuuJgN7r9h7kXM3F2F7aW9K3mBxPq8N7pXp3b8vW4a santu@santu-unubtu-langchao' >> ~/.ssh/authorized_keys

chmod 600 ~/.ssh/authorized_keys

```

### 5.2 挂载 NAS 备份

```bash

# 创建挂载点

sudo mkdir -p /mnt/backup

# 挂载 NAS

sudo mount -t cifs //10.1.1.253/shr阵列/tools/unubtu-backup /mnt/backup

-o username=你的用户名,password=你自己的密码,iocharset=utf8,vers=3.0

```

---

## 六、ROCm 安装

> 原因: AMD GPU 需要 ROCm 驱动才能运行 CUDA/ HIP 加速的 ML 框架

### 6.1 安装 ROCm 7.0.2

```bash

# 下载 amdgpu-install

cd /tmp

wget -q https://repo.radeon.com/amdgpu-install/7.0.2/ubuntu/jammy/amdgpu-install_7.0.2.70002-1_all.deb

# 安装

sudo dpkg -i amdgpu-install_7.0.2.70002-1_all.deb

sudo apt update

sudo apt install -y python3-setuptools python3-wheel

sudo usermod -a -G render,video $LOGNAME

# 安装 ROCm

sudo apt install -y rocm

```

### 6.2 修复 rocBLAS gfx906 支持

> ⚠️ 关键步骤: ROCm 7.0.2 默认不包含 MI50 (gfx906) 的 TensileLibrary,需要从 rocBLAS 6.4 复制

```bash

# 下载 rocBLAS 6.4 (Arch Linux AUR)

cd /tmp

wget -q "https://archive.archlinux.org/packages/extra/x86_64/rocblas/rocblas-6.4.3-3-x86_64.pkg.tar.zst" -O rocblas.pkg.tar.zst

tar -xf rocblas.pkg.tar.zst

# 复制 gfx906 库文件到 ROCm 目录

sudo cp /tmp/opt/rocm*/lib/rocblas/library/*gfx906* /opt/rocm-7.0.2/lib/rocblas/library/

# 验证

ls /opt/rocm-7.0.2/lib/rocblas/library/*gfx906* | wc -l

# 应该输出: 156

```

### 6.3 验证 ROCm 安装

```bash

# 验证 GPU 检测

/opt/rocm-7.0.2/bin/rocminfo | grep -A5 "Name:"

# 应该显示:

# AMD Instinct MI50

# gfx906

# 验证用户权限

/opt/rocm-7.0.2/bin/rocm-smi

```

---

## 七、llama.cpp 编译

> 原因: llama.cpp 需要 HIP/ROCm 支持才能在 AMD GPU 上运行

### 7.1 安装编译依赖

```bash

sudo apt install -y build-essential cmake git

```

### 7.2 克隆并编译 llama.cpp

```bash

# 克隆源码

cd /home/santu

git clone https://github.com/ggerganov/llama.cpp.git

cd llama.cpp

# 编译 (HIP 模式)

HIPCXX="$(hipconfig -l)/clang" HIP_PATH="$(hipconfig -R)"

cmake -S . -B build

-DGGML_HIP=ON

-DAMDGPU_TARGETS=gfx906

-DGGML_NCCL=off

-DGGML_HIP_ROCWMMA_FATTN=ON

-DCMAKE_BUILD_TYPE=Release

cmake --build build --config Release -- -j $(nproc)

```

> 编译参数说明:

> - GGML_HIP=ON: 启用 HIP 后端

> - AMDGPU_TARGETS=gfx906: 指定 MI50 架构

> - GGML_HIP_ROCWMMA_FATTN=ON: 启用 flash attention 加速

> - GGML_NCCL=off: 禁用 NCCL (多卡通信,当前版本有兼容性问题)

### 7.3 验证编译

```bash

/home/santu/llama.cpp/build/bin/llama-server --help

```

---

## 八、模型同步

> 原因: 从 NAS 备份复制模型文件到本地

### 8.1 同步模型目录

```bash

# 创建目录

mkdir -p /home/santu/models

# 从 NAS 同步

rsync -av --progress /mnt/backup/10.1.1.222/models/ /home/santu/models/

```

### 8.2 可用模型

| 模型 | 大小 | 量化 | 状态 |

|------|------|------|------|

| Qwen3.5-35B-A3B | 21GB | Q4_K_M | ✅ 可用 |

| Qwen2.5-72B | 41GB | Q4_K_M | ⚠️ 分片格式 |

| Qwen3-32B | 33GB | Q8_0 | ❌ 已删除 |

| Qwen2.5-0.5B | 0.5GB | Q4_K_M | ✅ 可用 |

---

## 九、启动 llama-server

### 9.1 环境变量

```bash

# MI50 必须设置此变量

export HSA_OVERRIDE_GFX_VERSION=9.0.6

```

### 9.2 启动命令 (单卡)

```bash

export HSA_OVERRIDE_GFX_VERSION=9.0.6

nohup /home/santu/llama.cpp/build/bin/llama-server

-m /home/santu/models/Qwen3.5-35B-A3B/Qwen3.5-35B-A3B-Q4_K_M.gguf

--device ROCm0

-ngl 99

--host 0.0.0.0

--port 1234 > /tmp/llama.log 2>&1 &

```

### 9.3 启动命令 (双卡)

```bash

export HSA_OVERRIDE_GFX_VERSION=9.0.6

nohup /home/santu/llama.cpp/build/bin/llama-server

-m /home/santu/models/Qwen3.5-35B-A3B/Qwen3.5-35B-A3B-Q4_K_M.gguf

--device ROCm0,ROCm1

--split-mode layer

-ngl 99

--host 0.0.0.0

--port 1234 > /tmp/llama.log 2>&1 &

```

### 9.4 验证服务

```bash

# 检查服务状态

curl http://localhost:1234/v1/models

# 测试推理

curl -X POST http://localhost:1234/v1/completions

-H "Content-Type: application/json"

-d '{"prompt": "Hello", "max_tokens": 50}'

```

---

## 十、监控面板部署

> 原因: 需要实时监控 GPU 使用率、温度、显存等

### 10.1 创建系统监控脚本

```python

#!/usr/bin/env python3

# /home/santu/update_sysinfo.py

# 功能: 采集 CPU、内存、GPU 信息并写入 JSON 文件

import subprocess

import json

import time

def get_gpu_info():

try:

# 获取 GPU 使用率、显存、温度、功耗

out = subprocess.check_output([

'rocm-smi', '--showuse', '--showmeminfo', 'vram',

'--showtemp', '--showpower', '--json'

], text=True)

data = json.loads(out)

gpus = []

for key in sorted(data.keys(), key=lambda x: int(x.replace('card', ''))):

d = data[key]

vram_total = int(d.get('VRAM Total Memory (B)', 0))

vram_used = int(d.get('VRAM Total Used Memory (B)', 0))

vram_pct = int(vram_used * 100 / vram_total) if vram_total else 0

gpus.append({

'use': d.get('GPU use (%)', '0'),

'vram': str(vram_pct),

'temp': d.get('Temperature (Sensor edge) (C)', '0'),

'power': d.get('Current Socket Graphics Package Power (W)', '0')

})

return gpus

except:

return [{'use': '0', 'vram': '0', 'temp': '0', 'power': '0'},

{'use': '0', 'vram': '0', 'temp': '0', 'power': '0'}]

def get_sysinfo():

try:

# CPU 使用率

top = subprocess.check_output(['top', '-bn1']).decode()

cpu = '0'

for line in top.split('n'):

if 'Cpu(s)' in line:

cpu = line.split()[1].replace('%us,', '')

break

PVE,unubtu虚拟机,llama.cpp+Qwen3.5-35B-A3B,mi50双卡已加载

作者提示含AI生成内容。作者声明本文无利益相关,欢迎值友理性交流,和谐讨论~

评论 1

王焕之用户头像挂件

太硬了,看不懂 [喜极而泣]

陕西

没有更多了