# VM 10.1.1.224 安装配置完整方案
> 文档日期: 2026-04-04
> 服务器: PVE 10.1.1.221 (浪潮服务器SA5212M5)
> VM IP: 10.1.1.224
> 状态: ✅ 已完成
---
## 一、系统概述
### 1.1 硬件配置
| 项目 | 配置 |
|------|------|
| PVE 宿主机 | 浪潮 SA5212M5 (10.1.1.221) |
| CPU | 2× Intel Xeon Platinum 8171M (52C/104T) |
| 内存 | 160GB |
| GPU | 2× AMD Instinct MI50 (gfx906) 32GB HBM2 |
| VM 系统 | Ubuntu 24.04.3 LTS |
| VM 内存 | 128GB |
| VM 磁盘 | 300GB |
### 1.2 网络规划
| 设备 | IP | 用途 |
|------|-----|------|
| PVE | 10.1.1.221 | 虚拟化宿主机 |
| VM | 10.1.1.224 | LLM 推理服务器 |
---
## 二、PVE 8.4 宿主机配置
> ⚠️ 重要: 如果 PVE 8.4 已安装并配置好 GPU Passthrough,跳过此步骤。
### 2.1 安装 PVE 8.4
从官网下载 PVE 8.4 ISO 并安装到服务器。
### 2.2 基础配置
```bash
# 设置 root 密码
passwd root
# SSH 公钥登录
mkdir -p ~/.ssh
echo 'ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAILuuJgN7r9h7kXM3F2F7aW9K3mBxPq8N7pXp3b8vW4a santu@santu-unubtu-langchao' >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
# 移除企业源(避免更新失败)
rm -f /etc/apt/sources.list.d/pve-enterprise.list
rm -f /etc/apt/sources.list.d/ceph.list
apt update
```
### 2.3 安装编译工具和内核头文件
```bash
# PVE 8.4 使用 6.8.12 内核,需要对应的头文件
apt install -y git build-essential dkms
apt install -y pve-headers
```
---
## 三、GPU Passthrough 配置 (vendor-reset)
> 原因: AMD MI50 需要 vendor-reset 驱动才能在 VFIO 环境下正常重置
### 3.1 安装 vendor-reset 模块
```bash
# 克隆 vendor-reset 源码
cd /tmp
curl -sL 'https://gitlab.com/33mirrors/vendor-reset/-/archive/master/vendor-reset-master.tar.gz' -o vendor-reset.tar.gz
tar -xzf vendor-reset.tar.gz
cd vendor-reset-master
# 修复内核兼容性问题(内核 6.x 移除了 strlcpy)
sed -i 's/strlcpy/strscpy/g' src/amd/amdgpu/atom.c
# 编译模块
make KERNEL_PATH=/lib/modules/$(uname -r)/build
# 安装模块
mkdir -p /lib/modules/$(uname -r)/extra
cp vendor-reset.ko /lib/modules/$(uname -r)/extra/
depmod -a
modprobe vendor-reset
# 开机自动加载
echo 'vendor-reset' >> /etc/modules
```
### 3.2 下载 udev 规则
```bash
curl -sL 'https://raw.githubusercontent.com/gnif/vendor-reset/master/udev/99-vendor-reset.rules' -o /etc/udev/rules.d/99-vendor-reset.rules
```
> 注意: Vega20 (0x66a1) 已在规则中,无需额外配置
### 3.3 配置 VFIO 和 IOMMU
```bash
# /etc/modprobe.d/amdgpu.conf - 指定 GPU 设备 ID
cat > /etc/modprobe.d/amdgpu.conf << 'EOF'
options vfio-pci ids=1002:66a1,1002:66a1
EOF
```
```bash
# /etc/modules - 加载必要模块
cat > /etc/modules << 'EOF'
vfio
vfio_iommu_type1
vfio_virqfd
vfio_pci
vfio_amd_iommu
EOF
```
### 3.4 配置 GRUB 内核参数
```bash
# 编辑 /etc/default/grub
sed -i 's/GRUB_CMDLINE_LINUX_DEFAULT="quiet"/GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on iommu=pt pcie_acs_override=downstream,multifunction"/' /etc/default/grub
update-grub
reboot
```
### 3.5 GPU reset_method 配置
> ⚠️ 关键步骤: VM 启动前必须修改 reset_method,否则 GPU 会 "atombios stuck in loop"
```bash
# 查看 GPU 地址
lspci -nn | grep -i vega
# 输出:
# 3d:00.0 Display controller [0380]: AMD/ATI Vega20 [1002:66a1]
# b1:00.0 Display controller [0380]: AMD/ATI Vega20 [1002:66a1]
# 停止 VM (如果运行中)
qm stop 100
# 解除绑定
echo '0000:b1:00.0' > /sys/bus/pci/devices/0000:b1:00.0/driver/unbind
echo '0000:3d:00.0' > /sys/bus/pci/devices/0000:3d:00.0/driver/unbind
# 修改 reset_method (关键!)
printf 'device_specific' > /sys/bus/pci/devices/0000:b1:00.0/reset_method
printf 'device_specific' > /sys/bus/pci/devices/0000:3d:00.0/reset_method
# 验证
cat /sys/bus/pci/devices/0000:b1:00.0/reset_method
# 应该输出: device_specific
```
### 3.6 创建自动化脚本
```bash
# /usr/local/bin/setup-gpu-reset.sh
cat > /usr/local/bin/setup-gpu-reset.sh << 'EOF'
#!/bin/bash
for gpu in 0000:b1:00.0 0000:3d:00.0; do
if [ -d /sys/bus/pci/devices/$gpu ]; then
if [ -d /sys/bus/pci/devices/$gpu/driver ]; then
echo "$gpu" > /sys/bus/pci/devices/$gpu/driver/unbind 2>/dev/null
fi
printf 'device_specific' > /sys/bus/pci/devices/$gpu/reset_method
echo "Configured $gpu"
fi
done
EOF
chmod +x /usr/local/bin/setup-gpu-reset.sh
```
```bash
# /etc/systemd/system/gpu-reset.service
cat > /etc/systemd/system/gpu-reset.service << 'EOF'
[Unit]
Description=Setup GPU reset method
After=local-fs.target
[Service]
Type=oneshot
ExecStart=/usr/local/bin/setup-gpu-reset.sh
RemainAfterExit=yes
[Install]
WantedBy=multi-user.target
EOF
systemctl daemon-reload
systemctl enable gpu-reset.service
```
---
## 四、创建 VM
### 4.1 创建 VM (ID: 100)
```bash
qm create 100
--name VM-GPU
--cpu host
--cores 52
--memory 131072
--net0 virtio,bridge=vmbr0
--scsihw virtio-scsi-single
--scsi0 local-lvm:300,discard=on,ssd=1
--boot order=scsi0
--ostype l26
--bios ovmf
--machine q35
```
### 4.2 添加 GPU Passthrough
```bash
# 添加 GPU
qm set 100 --hostpci0 0000:b1:00.0
qm set 100 --hostpci1 0000:3d:00.0
# 添加 PCI BAR 配置 (32GB GPU 必须!)
# MI50 有 32GB HBM2,需要 65536MB 地址空间
qm set 100 --args '-fw_cfg opt/ovmf/X-PciMmio64Mb,string=65536'
```
### 4.3 挂载 Ubuntu ISO 并安装
```bash
# 下载 Ubuntu 24.04 ISO
wget -O /var/lib/vz/template/iso/ubuntu-24.04-live-server-amd64.iso
'https://releases.ubuntu.com/24.04/ubuntu-24.04-live-server-amd64.iso'
# 挂载 ISO
qm set 100 --ide2 local:iso/ubuntu-24.04-live-server-amd64.iso,media=cdrom
qm set 100 --boot order=scsi0,ide2
# 启动并安装
qm start 100
```
> 📌 安装注意事项:
> - 用户名: sa***
> - 密码: **************
> - 安装时跳过 cloud-init (可能导致超时错误,可忽略)
---
## 五、VM 基础配置
### 5.1 SSH 配置
```bash
# 在 VM 内执行
sudo apt update
sudo apt install -y openssh-server
sudo systemctl enable ssh
sudo systemctl start ssh
# 添加 SSH 公钥
mkdir -p ~/.ssh
echo 'ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAILuuJgN7r9h7kXM3F2F7aW9K3mBxPq8N7pXp3b8vW4a santu@santu-unubtu-langchao' >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
```
### 5.2 挂载 NAS 备份
```bash
# 创建挂载点
sudo mkdir -p /mnt/backup
# 挂载 NAS
sudo mount -t cifs //10.1.1.253/shr阵列/tools/unubtu-backup /mnt/backup
-o username=你的用户名,password=你自己的密码,iocharset=utf8,vers=3.0
```
---
## 六、ROCm 安装
> 原因: AMD GPU 需要 ROCm 驱动才能运行 CUDA/ HIP 加速的 ML 框架
### 6.1 安装 ROCm 7.0.2
```bash
# 下载 amdgpu-install
cd /tmp
wget -q https://repo.radeon.com/amdgpu-install/7.0.2/ubuntu/jammy/amdgpu-install_7.0.2.70002-1_all.deb
# 安装
sudo dpkg -i amdgpu-install_7.0.2.70002-1_all.deb
sudo apt update
sudo apt install -y python3-setuptools python3-wheel
sudo usermod -a -G render,video $LOGNAME
# 安装 ROCm
sudo apt install -y rocm
```
### 6.2 修复 rocBLAS gfx906 支持
> ⚠️ 关键步骤: ROCm 7.0.2 默认不包含 MI50 (gfx906) 的 TensileLibrary,需要从 rocBLAS 6.4 复制
```bash
# 下载 rocBLAS 6.4 (Arch Linux AUR)
cd /tmp
wget -q "https://archive.archlinux.org/packages/extra/x86_64/rocblas/rocblas-6.4.3-3-x86_64.pkg.tar.zst" -O rocblas.pkg.tar.zst
tar -xf rocblas.pkg.tar.zst
# 复制 gfx906 库文件到 ROCm 目录
sudo cp /tmp/opt/rocm*/lib/rocblas/library/*gfx906* /opt/rocm-7.0.2/lib/rocblas/library/
# 验证
ls /opt/rocm-7.0.2/lib/rocblas/library/*gfx906* | wc -l
# 应该输出: 156
```
### 6.3 验证 ROCm 安装
```bash
# 验证 GPU 检测
/opt/rocm-7.0.2/bin/rocminfo | grep -A5 "Name:"
# 应该显示:
# AMD Instinct MI50
# gfx906
# 验证用户权限
/opt/rocm-7.0.2/bin/rocm-smi
```
---
## 七、llama.cpp 编译
> 原因: llama.cpp 需要 HIP/ROCm 支持才能在 AMD GPU 上运行
### 7.1 安装编译依赖
```bash
sudo apt install -y build-essential cmake git
```
### 7.2 克隆并编译 llama.cpp
```bash
# 克隆源码
cd /home/santu
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
# 编译 (HIP 模式)
HIPCXX="$(hipconfig -l)/clang" HIP_PATH="$(hipconfig -R)"
cmake -S . -B build
-DGGML_HIP=ON
-DAMDGPU_TARGETS=gfx906
-DGGML_NCCL=off
-DGGML_HIP_ROCWMMA_FATTN=ON
-DCMAKE_BUILD_TYPE=Release
cmake --build build --config Release -- -j $(nproc)
```
> 编译参数说明:
> - GGML_HIP=ON: 启用 HIP 后端
> - AMDGPU_TARGETS=gfx906: 指定 MI50 架构
> - GGML_HIP_ROCWMMA_FATTN=ON: 启用 flash attention 加速
> - GGML_NCCL=off: 禁用 NCCL (多卡通信,当前版本有兼容性问题)
### 7.3 验证编译
```bash
/home/santu/llama.cpp/build/bin/llama-server --help
```
---
## 八、模型同步
> 原因: 从 NAS 备份复制模型文件到本地
### 8.1 同步模型目录
```bash
# 创建目录
mkdir -p /home/santu/models
# 从 NAS 同步
rsync -av --progress /mnt/backup/10.1.1.222/models/ /home/santu/models/
```
### 8.2 可用模型
| 模型 | 大小 | 量化 | 状态 |
|------|------|------|------|
| Qwen3.5-35B-A3B | 21GB | Q4_K_M | ✅ 可用 |
| Qwen2.5-72B | 41GB | Q4_K_M | ⚠️ 分片格式 |
| Qwen3-32B | 33GB | Q8_0 | ❌ 已删除 |
| Qwen2.5-0.5B | 0.5GB | Q4_K_M | ✅ 可用 |
---
## 九、启动 llama-server
### 9.1 环境变量
```bash
# MI50 必须设置此变量
export HSA_OVERRIDE_GFX_VERSION=9.0.6
```
### 9.2 启动命令 (单卡)
```bash
export HSA_OVERRIDE_GFX_VERSION=9.0.6
nohup /home/santu/llama.cpp/build/bin/llama-server
-m /home/santu/models/Qwen3.5-35B-A3B/Qwen3.5-35B-A3B-Q4_K_M.gguf
--device ROCm0
-ngl 99
--host 0.0.0.0
--port 1234 > /tmp/llama.log 2>&1 &
```
### 9.3 启动命令 (双卡)
```bash
export HSA_OVERRIDE_GFX_VERSION=9.0.6
nohup /home/santu/llama.cpp/build/bin/llama-server
-m /home/santu/models/Qwen3.5-35B-A3B/Qwen3.5-35B-A3B-Q4_K_M.gguf
--device ROCm0,ROCm1
--split-mode layer
-ngl 99
--host 0.0.0.0
--port 1234 > /tmp/llama.log 2>&1 &
```
### 9.4 验证服务
```bash
# 检查服务状态
curl http://localhost:1234/v1/models
# 测试推理
curl -X POST http://localhost:1234/v1/completions
-H "Content-Type: application/json"
-d '{"prompt": "Hello", "max_tokens": 50}'
```
---
## 十、监控面板部署
> 原因: 需要实时监控 GPU 使用率、温度、显存等
### 10.1 创建系统监控脚本
```python
#!/usr/bin/env python3
# /home/santu/update_sysinfo.py
# 功能: 采集 CPU、内存、GPU 信息并写入 JSON 文件
import subprocess
import json
import time
def get_gpu_info():
try:
# 获取 GPU 使用率、显存、温度、功耗
out = subprocess.check_output([
'rocm-smi', '--showuse', '--showmeminfo', 'vram',
'--showtemp', '--showpower', '--json'
], text=True)
data = json.loads(out)
gpus = []
for key in sorted(data.keys(), key=lambda x: int(x.replace('card', ''))):
d = data[key]
vram_total = int(d.get('VRAM Total Memory (B)', 0))
vram_used = int(d.get('VRAM Total Used Memory (B)', 0))
vram_pct = int(vram_used * 100 / vram_total) if vram_total else 0
gpus.append({
'use': d.get('GPU use (%)', '0'),
'vram': str(vram_pct),
'temp': d.get('Temperature (Sensor edge) (C)', '0'),
'power': d.get('Current Socket Graphics Package Power (W)', '0')
})
return gpus
except:
return [{'use': '0', 'vram': '0', 'temp': '0', 'power': '0'},
{'use': '0', 'vram': '0', 'temp': '0', 'power': '0'}]
def get_sysinfo():
try:
# CPU 使用率
top = subprocess.check_output(['top', '-bn1']).decode()
cpu = '0'
for line in top.split('n'):
if 'Cpu(s)' in line:
cpu = line.split()[1].replace('%us,', '')
break

作者提示含AI生成内容。作者声明本文无利益相关,欢迎值友理性交流,和谐讨论~
太硬了,看不懂
没有更多了