为了一块神奇的主板，装了台12盘位6核48g内存的NAS

前因

前段时间我搞来了一块非常神奇且少见的z390主板，正好手上还有一块i5-8500处理器和一些多出来的nvme固态，和一些其奇奇怪怪的扩展卡。

这块华硕ws z390 pro是拥有5条pci-e的主板，这种扩展能力的主板在lga1151平台已经很少见了。它通过一块PLX8747桥接芯片把来自处理器的16条pci-e 3.0扩展为32条，正好满足4个pci-e x8。通过桥接芯片拓展通道的操作在十年前的LGA1155和LGA1150平台很常见，随着NVIDIA和AMD放弃了游戏显卡的SLI和交火支持后，旗舰级主板就很少有这种设计了。

WS Z390 PRO是一块工作站主板，为了满足工作站对扩展的需求。因此搭载了PLX8747桥接芯片扩展通道数。

对于我们这种家庭用户来说，它如此丰富的PCI-E接口意味着非常适合用来当“ALL IN ONE”主板。

硬件介绍

一，主板扩展介绍

供电，超频什么的就不说了，这不是all in one主板关注的地方，真正的重点是扩展性尤其是pci-e的扩展性。

先看一下架构图

首先是4条全长度的pci-e插槽，可配置为两条x16或者四条x8的模式。全部来自与PLX8747桥接芯片，8747再直连cpu的16条pci-e通道

还有一条是pci-e 3.0 x4，来自南桥。当启用asm2142芯片时，会变为x2模式

2条nvme 22110插槽，2个u.2插槽，其中一个nvme和u.2共用通道。

6个stat接口，因为和nvme和u.2共用通道，当使用完nvme通道后实际可用为两个sata，反正都是通过HBA卡接硬盘的，板载只有两个sata无伤大雅。

板载2个网卡，分别为intel 219v和i210

板载2个第三方USB芯片，分别为ASM2142 USB 3.1 10G扩展芯片和ASM1042 USB 3.0 5G扩展芯片，其中2142和PCI-E X4 共享2条PCI-E通道，启用2142后PCI-E X4将降速为X2模式。

板载的第三方USB扩展芯片和网卡都是可以直通给虚拟机使用的，极大的丰富了这块主板的玩法。

二，奇奇怪怪的扩展卡

为了丰富all in one服务的玩法，我准备了很多的扩展卡。一张bcm57810s万兆网卡，一张82576双口千兆网卡，一张nvme拆分卡，一张HBA卡。

两张网卡都是很常见的东西这就不说了，这里主要着重介绍两张阵列卡。

双芯HBA卡，这是一张很神奇的HBA卡，总共16个SAS/SATA接口。通过两个lsi3008芯片实现，一个芯片负责8个接口。两个芯片通过PLX8724桥接芯片连接到PCI-E X8。发热量非常大，需要配合风扇或者是风道配合。修改iommu分组后，两个3008芯片可以分别直通个两个不同的虚拟机。

nvme拆分卡，通过PLX8724桥接芯片将一个x8通道，扩展为4条4x通道，正好可以接4个nvme固态。同样的也可以分别直通到不同的虚拟机中，加上主板的3个nvme扩展，去除系统盘以后。整机拥有6个nvme扩展，可以组建一个中小规模的全闪NAS了。

三，机箱和电源等其他玩意

我的购买的机箱是君创的12盘位全高ATX，加上3条8643线后总价1k+，不算特别有性价比。但是大机箱，使用ATX电源，ATX主板，全高插槽带来了无与伦比的扩展性和更加静音的体验。

机箱做工还可以，板材厚度挺厚的只是颜值稍微差了一点。机箱本身带有12个3.5寸热插拔盘位和4个内置的2.5盘位，上层的主板仓前置3个12CM风扇位1个9CM风扇位，下层的硬盘仓带有4个9cm风扇。需要的注意的上层的三个12cm风扇是安装在机箱内部的，与大多数的机箱外部安装有所不同，需要使用反向风扇。买风扇的时候不要买错了。

电源我选用的是酷冷的550w金牌全模组的电源，对于这个配置来说就算上满12块机械+6块u.2+75w显卡的情况下都还够用。目前没有使用定制线，这导致线束太长。必须得拆掉机箱内置的2.5寸硬盘架和一个前置12CM风扇，才能将多余的线束放好。对于需要使用到2.5寸盘架的用户，还是得上定制线才行。

四，主要硬件配置

主板：华硕ws z390 pro

CPU：i5-8500

内存：16gx2 + 8gx2 共计48g内存

系统盘：东芝rc10 512g

扩展卡：4通道nvme扩展卡，sas3008 16i阵列卡，bcm57810万兆网卡，82576双口千兆网卡。

五，系统配置

硬件配置那么强，肯定不会当作一台独立的nas使用的。所以这个机器将会安装pve作为底层虚拟化系统，在通过虚拟化安装不同的虚拟系统并直通硬件满足不同的需求。

因为主板和扩展卡都有plx芯片，要想将外部扩展卡分别直通到不同的虚拟机中。必须使用经过修改后的linux内核并修改配置文件强制iommu分组功能。

虚拟系统配置

1，Windows server 2022。直通bcm57810其中一个网口，其中一个sas3008阵列卡，分配4个核心10g内存，作为nas系统，只做存储不部署其他功能。

2.ubuntu系统，用于提供linux环境，比如docker。分配4核8g内存

3.群晖系统，直通芯片组自带的stat控制器，连接2块120g固态硬盘组raid。作为外部文件共享的网盘使用，由于端口直接通过nps暴露给公网，为了安全所以配置防火墙规则禁止其主动访问内网，互联网仅仅能连接nps服务器。就算被黑了连肉鸡都当不了。分配单核1g内存

4.Windows 10 ltsc，直通bcm57810 直通bcm57810其中一个网口，其中一个sas3008阵列卡，直通核显，分配3个核心6g内存。用于pt，下载等特别伤硬盘的任务，同时部署了一个emby服务端。

5.openwrt充当防火墙使用，分配单核1g。

小插曲

上面那个神奇的双芯片阵列卡，这玩意超级热，毕竟需要外接供电。这玩意不好接风扇，本来想靠机箱风道辅助散热，然后使用了一个月后就热坏了。于是我又买了一模一样的卡，找了个m3螺丝固定过了一个8cm风扇给他单独散热。