PVE8部署流程回顾，PROXMOX安装+切换源+P100显卡直通+显卡虚拟化+驱动安装+虚拟机验证+IPTV不桥接

已经折腾两次了实在搞的有心无力了，所以需要记录一下步骤。

硬件规格

双路E5 2650V4，12C24T x2，

64G内存，

硬盘部分：3x6T机械+2x512G固态+2tb固态。

PCI部分：P100显卡x1，9346阵列卡x1，亮机卡GT1030x1，PCIE网卡x1 82580。

机器是戴尔7810整机，二手，本体除显卡和网卡外大概3k多。

硬盘不到6百一块，没坏道。

P100 不到1k，亮机卡送的是老AMD的HD系列，但是没有HDMI，1030是自己的。网卡也是商家直接拿的。

阵列卡是后买的，100多块，带电池。

基础阶段

开始只考虑买一台服务器做下载机加本地存储，配合A15盒子做本地视频库，然后做个组播转发。至于为什么不用Alist，是因为我在阿里云盘上的视频都是加了强密码压缩上传的，需要本地解压缩。当然也是为了安全。

做组播转发是因为需要出差，但是又需要看五星体育，自己电信千兆带IPTV并且有公网IP。

不改桥接！！！。众所周知，SH的IPTV需要双面认证，最早用网件的GS105e做vlan划分成功点亮单线复用。目前在用一台OpenWrt路由器做Vlan处理。

年前回家的时候买了一个IGMP的组播盒子做旁路由给家里老人看电视用，操作的时候发现也只是一个阉割的Openwrt固件加硬件。投射公网也不是什么问题。

不改桥接

市面99%的标题点进去，最后都是改桥接，有说打10000号的，有说进后台的，还有换光猫的，还有打电话联系运维改桥接的。其他地区不太了解，我这目前都是SDN网关，有些原本带管理后台的，也被升级成SDN了。另外也不太想和运维纠结这个事情，不想麻烦别人，同时利用Vlan是可以正常播放的。所以坚决不改桥接，不需要。

IPTV

至少在发帖时，还没有投射到公网，并且没有IGMP处理。希望后面更新到的时候，可以看我后面的帖子。

这里要说的是目前利用OpenWrt实现IPTV，其实只是一个交换机的功能，IPTV拿到的A面IP还是光猫分配的。B面是内网的，对于光猫来说，IPTV只是其下联的一个设备。另外目前SDN之后，IPTV其实可以任意插，我这边Vlan ID 85是专网的ID标识。

如图VLAN ID 1是全部Lan，默认就有。2是A面正常上网用，85是IPTV专用。

已标记和未标记就不讲了，按此配置是可以实现IPTV正常播放及回看。

Lan3是给IPTV用的，所以不参与内部Lan的DHCP，ID2是A面，也就是192.168.1.x。85标记可以通专网给到机顶盒。

这里要注意不同的固件，如图的硬件是极路由X配合商家固件（内核5.4.247），所以VLAN ID必须写85对应。但是在无线宝固件下就只要写2，3。有区分就可以识别。

选择Proxmox

开始一心想搞Esxi，但是当时没有磁盘阵列卡。在主板里面做了软阵列，但是到Esxi之后还是被识别成3块硬盘。后面想用Esxi 的san组件之类的满足阵列需求，但是并没有解决。这里发现Esxi不支持软阵列，所以另买了一张阵列卡。。。。。。

阵列卡来了之后继续搞。其实服务器本体在来的路上的时候，就买了PCIE转NVME扩展卡，配合两条光威想用NVME硬盘做Raid，并做系统使用。

因为主板插槽有限（P100太厚了，除了自己的PCIE插槽，还挡住了另外一个插槽）所以阵列卡来了以后只能把NVME放弃了。又买了两个512的Sata。。。。。。

后面转Proxmox是因为显卡直通的问题，这个机器用ESXI 8的时候，偶尔SRIOV开不起来。有说是主板问题，有说是配置问题，没有搞懂，想直接花钱。然后我去找了卖我驱动的商家，结果人家表示你这这样还不如直接重装ESXI再来找我，表示难搞。

好吧，我也不知道是他觉得难搞还是真的很难搞。

安装过程

1.安装

安装就不说了，正常写镜像正常安装。安装过程注意硬盘要空盘，可以先把分区都删掉，安装过程中会自己创建ext4分区。

填账号密码的时候注意也需要邮箱，按正常格式填，可以随意写但是默认是不能下一步的。

PVE在初始化安装时会尝试所有网口的DHCP，并且给出一个IP地址。将作为管理地址使用。所以如果你不想麻烦的去修改管理地址，这里在初次安装时，只插你需要的网线，并同时在下一步之前修改好你的固定地址。

这里是由PVE直接指定的固定IP，可以写固定也可以安装后在路由器绑定MAC地址处理。

2.存储库

初次进入网页后台，会提示没有有效企业订阅。

我们不使用企业授权库，所以这里使用脚本变更库为无订阅库。

建议使用类似WinSCP的SSH软件，当帖子要求你使用VI编辑器去打开并编辑文件的时候，可以直接在WinSCP中打开文件，编辑代码也不用完全盲打，可以复制粘贴到对应文件中。

1.注释企业源

直接用WinSCP找到对应文件：/etc/apt/sources.list.d/pve-enterprise.list

双击打开文件，在前面加#号注释该行。

注释后，点击保存文件，文件会自动回传到源路径。这样就不用Vi或者nano去编辑了。

2.下载中科大源的gpg Key

我也不知道是干什么的，感觉和Https证书一个目的。这里Wget要在选中pve下，的右上角Shell。当你创建虚拟机后，每台虚拟机都可能存在一个Shell按钮，注意区分是哪的Shell。

wget https://mirrors.ustc.edu.cn/proxmox/debian/proxmox-release-bookworm.gpg -O /etc/apt/trusted.gpg.d/proxmox-release-bookworm.gpg

输入然后回车执行，需要使用xterm js这个shell。用NoVNC的话复制就没有了。而且这里的复制不能用Ctrl V，要在网页右键粘贴

这里Saved就是保存完成了。

3.替换Debian源，PVE是基于Debian的。

sed -i 's|^deb http://ftp.debian.org|deb https://mirrors.ustc.edu.cn|g' /etc/apt/sources.list

sed -i 's|^deb http://security.debian.org|deb https://mirrors.ustc.edu.cn/debian-security|g' /etc/apt/sources.list

命令执行后没有报错就是正常的，如果不确定可以再从SCP中打开对应文件查看内容。命令就是简单的替换命令，只是比SCP更方便所以就没有再打开文件替换内容。

4.修改Ceph源

echo "deb https://mirrors.ustc.edu.cn/proxmox/debian/ceph-quincy bookworm no-subscription" > /etc/apt/sources.list.d/ceph.list

Ceph是一种存储概念，包括容灾一类的，一般单节点没必要使用，我这里有尝试过，但是最后还是要配合TrueNas，所以就直接给TrueNas指定硬盘大小了。因为已经用硬阵列卡实现了阵列以及断电保护，所以无需Ceph处理。

但是这里如果不处理的话，后面update会有问题，还是要修改。不安装就好了。

5.CT镜像下载源处理

sed -i 's|http://download.proxmox.com|https://mirrors.ustc.edu.cn/proxmox|g' /usr/share/perl5/PVE/APLInfo.pm

同样的，回车后没有报错就是正常的

6.删除订阅弹窗

sed -Ezi.bak "s/(Ext.Msg.show({s+title: gettext('No valid sub)/void({ //1/g" /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js && systemctl restart pveproxy.service

没有尝试，一个弹窗我也不是很在意。

验证源

使用 apt update 命令更新，以观察网络情况。

首先要确定网络是正常对外的，可以ping 百度确认。

正常有get的话，就可以等一下了。

因为没有修改Ceph源，所以最后更新下来会有报错提示，可以修改ceph源后再update。

正常如图所示，根据提示进行包更新即可。

使用 apt list --upgradable 更新包。

显卡直通

包更新结束后，来做显卡直通，P100这种卡，在不装驱动的时候，发热量非常大。持续高温，不知道在做什么。

驱动的话，可以某宝，现在企业注册挺麻烦的，尤其现在贸易战情况下。

主板该开的都开

1.加载虚拟化配置

cat >/etc/modules<

vfio

vfio_iommu_type1

vfio_pci

vfio_virqfd

EOF是结束符，要加<符号，如果不行直接修改文件一样的。

先cat命令，进入后，按如上内容逐行输入。EOF后会跳出，保存后的modules文件内容如下。

同样可以直接打开文件进行编辑

2.屏蔽开源驱动

echo "blacklist nouveau" >> /etc/modprobe.d/pve-blacklist.conf

上面的nvidiafb是原本就有的，下面的nouveau是我们添加的

3.修改内核的IOMMU

# intel cpu

GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt video=efifb:off,vesafb:off"

# amd cpu

GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt video=efifb:off"

根据CPU来的，/etc/default/grub 文件

添加时注意每段代码的空格

添加完成后保存，并使用命令更新： update-grub

更新完成，应该是添加到了启动固件里面了，UEFI嘛。

题外话：写这个帖子就是因为强制断电两次之后手动重启无法进入系统，进PE发现硬盘分区表损坏，不得已又重装了一次系统。

安装依赖

安装依赖项 apt install build-essential dkms mdevctl

这里还提示确认，大写Y可以直接回车

速度时快时慢，如果连接都中断的话，可以换其他源尝试

整个过程比显示的时间要快，但中间大概十多分钟吧。

安装之后需要重启一次系统。重启根据你进BIOS时间再加上初始化的时间。期间连接错误可以一直显示，不用手动刷新。

重启之后打开Shell先使用 lsmod |grep vfio 和 dmesg |grep iommu 查看信息，只要没有报错就OK了。具体信息我也看不懂。

安装驱动

驱动前面说了，要某宝，如果我的云盘准备好了， 我会来更新地址的。

这里需要两个驱动，先是debian用的，给PVE安装的驱动。然后是Windows系统下的驱动。PVE安装是为了显卡的虚拟化。

然后马上创建一个Windows虚拟机挂载显卡之后，安装驱动可以验证是否正常识别。

PVE使用驱动全名为：NVIDIA-Linux-x86_64-535.154.02-vgpu-kvm.run

是LinuxKVM 而不是Debian

当然如果要更新驱动的话，除了更新命令，不如就某宝一份新的好了

解压缩，然后把驱动先上传到某个目录，随后使用chmod提权然后执行。

chmod 755 /usr/NVIDIA-Linux-x86_64-535.161.05-vgpu-kvm.run

先chmod完整文件名提权，这里最好跟上文件夹路径。

在哪个文件夹可以不用写路径我忘记了。

/usr/NVIDIA-Linux-x86_64-535.161.05-vgpu-kvm.run

然后执行驱动，同样的，注意路径。

然后来到我们的第一个报错

需要安装一个名为pve-header的包，先用uname -r 命令查看自己的内核版本，然后wget的时候也要对应版本。

wget https://mirrors.ustc.edu.cn/proxmox/debian/dists/bookworm/pve-no-subscription/binary-amd64/proxmox-headers-6.5.11-8-pve_6.5.11-8_amd64.deb

这里如果在配置源的时候添加了no-subscription源，则可以直接apt安装，如果提示找不到包，可以尝试修改源或者直接wget安装。

dpkg -i proxmox-headers-6.5.11-7-pve_6.5.11-7_amd64.deb

这里要和你安装的版本一致。dpkg 如果报错就是拼写错了，我上面get6511-8，下面dpkg的是65117。

再次执行驱动，则NVIDIA此时会开始构造

构造完成后会提示一个DRMS的东西

大概就是内核如果更新的话，会自动编译驱动可以选是也可以不是

然后继续构建，直到安装完成

安装完成

检查安装

1.可以通过dkms检查驱动状态

dkms status

2.nvidia-smi 检查显卡

3.mdevctl types 检查拆分模式

如果输入之后没有显示，可以重启一下虚拟机。重启之后仍然不显示，请查找其他解决办法。

在拆分模式下，不同模式又又不同的后缀

在创建虚拟机时，根据需要自行选择。

显卡直通

添加PCI设备

勾选中介设备，并勾选创建。

虽然进行了虚拟化拆分，但是在使用时，据说只能使用同规格的拆分。比如4G显存就都只能4G显存。

创建虚拟机

创建一个win10的虚拟机，PVE做windows系统时需要外挂VirtualIO驱动，否则找不到安装硬盘。

挂载驱动ISO

我这里用回写磁盘随意

这里类别host的话，就是用实际的处理器型号，双处理器的，可以勾选NUMA。

创建完成后在硬件中继续添加该显卡。

添加之后上电安装系统。

这里如果勾选主GPU的话，控制台终端是打不开的。系统不建议使用企业版，因为我没找到硬盘驱动。

能正常向下安装则硬件正常，否则会提示不兼容，驱动无法安装。

作者声明本文无利益相关，欢迎值友理性交流，和谐讨论～