奇葩设备 篇一:为了一块神奇的主板,装了台12盘位6核48g内存的NAS
前因
前段时间我搞来了一块非常神奇且少见的z390主板,正好手上还有一块i5-8500处理器和一些多出来的nvme固态,和一些其奇奇怪怪的扩展卡。
这块华硕ws z390 pro是拥有5条pci-e的主板,这种扩展能力的主板在lga1151平台已经很少见了。它通过一块PLX8747桥接芯片把来自处理器的16条pci-e 3.0扩展为32条,正好满足4个pci-e x8。通过桥接芯片拓展通道的操作在十年前的LGA1155和LGA1150平台很常见,随着NVIDIA和AMD放弃了游戏显卡的SLI和交火支持后,旗舰级主板就很少有这种设计了。
WS Z390 PRO是一块工作站主板,为了满足工作站对扩展的需求。因此搭载了PLX8747桥接芯片扩展通道数。
对于我们这种家庭用户来说,它如此丰富的PCI-E接口意味着非常适合用来当“ALL IN ONE”主板。
硬件介绍
一,主板扩展介绍
供电,超频什么的就不说了,这不是all in one主板关注的地方,真正的重点是扩展性尤其是pci-e的扩展性。
先看一下架构图
首先是4条全长度的pci-e插槽,可配置为两条x16或者四条x8的模式。全部来自与PLX8747桥接芯片,8747再直连cpu的16条pci-e通道
还有一条是pci-e 3.0 x4,来自南桥。当启用asm2142芯片时,会变为x2模式
2条nvme 22110插槽,2个u.2插槽,其中一个nvme和u.2共用通道。
6个stat接口,因为和nvme和u.2共用通道,当使用完nvme通道后实际可用为两个sata,反正都是通过HBA卡接硬盘的,板载只有两个sata无伤大雅。
板载2个网卡,分别为intel 219v和i210
板载2个第三方USB芯片,分别为ASM2142 USB 3.1 10G扩展芯片和ASM1042 USB 3.0 5G扩展芯片,其中2142和PCI-E X4 共享2条PCI-E通道,启用2142后PCI-E X4将降速为X2模式。
板载的第三方USB扩展芯片和网卡都是可以直通给虚拟机使用的,极大的丰富了这块主板的玩法。
二,奇奇怪怪的扩展卡
为了丰富all in one服务的玩法,我准备了很多的扩展卡。一张bcm57810s万兆网卡,一张82576双口千兆网卡,一张nvme拆分卡,一张HBA卡。
两张网卡都是很常见的东西这就不说了,这里主要着重介绍两张阵列卡。
双芯HBA卡,这是一张很神奇的HBA卡,总共16个SAS/SATA接口。通过两个lsi3008芯片实现,一个芯片负责8个接口。两个芯片通过PLX8724桥接芯片连接到PCI-E X8。发热量非常大,需要配合风扇或者是风道配合。修改iommu分组后,两个3008芯片可以分别直通个两个不同的虚拟机。
nvme拆分卡,通过PLX8724桥接芯片将一个x8通道,扩展为4条4x通道,正好可以接4个nvme固态。同样的也可以分别直通到不同的虚拟机中,加上主板的3个nvme扩展,去除系统盘以后。整机拥有6个nvme扩展,可以组建一个中小规模的全闪NAS了。
三,机箱和电源等其他玩意
我的购买的机箱是君创的12盘位全高ATX,加上3条8643线后总价1k+,不算特别有性价比。但是大机箱,使用ATX电源,ATX主板,全高插槽带来了无与伦比的扩展性和更加静音的体验。
机箱做工还可以,板材厚度挺厚的只是颜值稍微差了一点。机箱本身带有12个3.5寸热插拔盘位和4个内置的2.5盘位,上层的主板仓前置3个12CM风扇位1个9CM风扇位,下层的硬盘仓带有4个9cm风扇。需要的注意的上层的三个12cm风扇是安装在机箱内部的,与大多数的机箱外部安装有所不同,需要使用反向风扇。买风扇的时候不要买错了。
电源我选用的是酷冷的550w金牌全模组的电源,对于这个配置来说就算上满12块机械+6块u.2+75w显卡的情况下都还够用。目前没有使用定制线,这导致线束太长。必须得拆掉机箱内置的2.5寸硬盘架和一个前置12CM风扇,才能将多余的线束放好。对于需要使用到2.5寸盘架的用户,还是得上定制线才行。
四,主要硬件配置
主板:华硕ws z390 pro
CPU:i5-8500
内存:16gx2 + 8gx2 共计48g内存
系统盘:东芝rc10 512g
扩展卡:4通道nvme扩展卡,sas3008 16i阵列卡,bcm57810万兆网卡,82576双口千兆网卡。
五,系统配置
硬件配置那么强,肯定不会当作一台独立的nas使用的。所以这个机器将会安装pve作为底层虚拟化系统,在通过虚拟化安装不同的虚拟系统并直通硬件满足不同的需求。
因为主板和扩展卡都有plx芯片,要想将外部扩展卡分别直通到不同的虚拟机中。必须使用经过修改后的linux内核并修改配置文件强制iommu分组功能。
虚拟系统配置
1,Windows server 2022。直通bcm57810其中一个网口,其中一个sas3008阵列卡,分配4个核心10g内存,作为nas系统,只做存储不部署其他功能。
2.ubuntu系统,用于提供linux环境,比如docker。分配4核8g内存
3.群晖系统,直通芯片组自带的stat控制器,连接2块120g固态硬盘组raid。作为外部文件共享的网盘使用,由于端口直接通过nps暴露给公网,为了安全所以配置防火墙规则禁止其主动访问内网,互联网仅仅能连接nps服务器。就算被黑了连肉鸡都当不了。分配单核1g内存
4.Windows 10 ltsc,直通bcm57810 直通bcm57810其中一个网口,其中一个sas3008阵列卡,直通核显,分配3个核心6g内存。用于pt,下载等特别伤硬盘的任务,同时部署了一个emby服务端。
5.openwrt充当防火墙使用,分配单核1g。
小插曲
上面那个神奇的双芯片阵列卡,这玩意超级热,毕竟需要外接供电。这玩意不好接风扇,本来想靠机箱风道辅助散热,然后使用了一个月后就热坏了。于是我又买了一模一样的卡,找了个m3螺丝固定过了一个8cm风扇给他单独散热。
天真的小宇
校验提示文案
可能会得道
校验提示文案
太一Thaiyee
校验提示文案
纠察队长
校验提示文案
长风渡店
校验提示文案
吉他的心
校验提示文案
CyBuster
校验提示文案
泰山1123
校验提示文案
跑步健身打球阅读
校验提示文案
lkkle
校验提示文案
haoqiang
校验提示文案
梅雯桦
校验提示文案
77群主
校验提示文案
大吃一金
校验提示文案
值友9167718388
校验提示文案
Two-z
校验提示文案
霜叶红于3月花
校验提示文案
咔咔喵
校验提示文案
lkkle
校验提示文案
咔咔喵
校验提示文案
霜叶红于3月花
校验提示文案
Two-z
校验提示文案
值友9167718388
校验提示文案
天真的小宇
校验提示文案
跑步健身打球阅读
校验提示文案
泰山1123
校验提示文案
大吃一金
校验提示文案
CyBuster
校验提示文案
77群主
校验提示文案
太一Thaiyee
校验提示文案
吉他的心
校验提示文案
可能会得道
校验提示文案
梅雯桦
校验提示文案
长风渡店
校验提示文案
haoqiang
校验提示文案
纠察队长
校验提示文案