家庭网络和存储折腾之路（6）- Dell R720硬件升级

R720刚买来的时候只有一路E5-2665、16G内存，所以首先 决定对硬件做一些基本的扩展。扩展不是必须的，各人可以根据自己的实际需求选择，我的扩展也未必合理。

0、PCIe：R720一共有7个PCIe扩展槽，根据官方的描述如下，可以看到需要全部支持PCIe槽需要两路CPU，3个槽支持薄型和半长，4个支持标准高度和全长。链路带宽只有一个x16，其他都是x8.

受支持的扩展卡

扩展卡安装顺序

1、CPU：一路CPU最大的问题是英雄PCIe的使用，根据官方文档描述，要使用全部PCIe口必须有两路CPU。由于我会使用较多的虚拟机所以两路CPU对性能是有帮助的，一个系统两路CPU最好一样，本来想用E5-2697v2。300多一个，有点贵，放弃了。于是再买了一个E5-2665，一个散热器。商家很贴心送了硅胶。这两款cpu的主要区别：

E5-2665和E5-2697V2参数

2、内存：还是由于虚拟机比较多，也省得以后再扩 ，所以索性就一次性给加到128G，由于R720一开始是两条8G的镁光PC3L-10600R（1333）的内存，所以买了一样镁光的PC3-10600R（PC3和PC3L可以混用）的内存14根。加了内存之后最大的影响是启动时间明显拉长，因为需要自检。需要注意的是服务器的内存是ECC的，建议所有的内存最好都一样，包括大小、规格甚至品牌。

随R720配的内存条

单独购买的内存条

3、硬盘：R720一共有8个硬盘位。考虑到未来可能会有比较多数据，特别是一些视频类的大尺寸数据，所以这次一共买了5个16G的硬盘。同时考虑到硬盘的故障率，特意选了不同品牌不同批次的盘。分别是两个希捷氦气银河企业级硬盘，两个东芝氦气垂直记录硬盘，一个西数氦气硬盘。五个硬盘的都是拆机盘，外表没问题都很新。用软件看两个希捷的加电时间为0（其实我不太信），其他三个加电都在6000小时左右但加电次数都非常少。为什么买拆机硬盘而不是全新盘？我是这么考虑的（其实我也不知道对不对，实际效果要看后续使用情况），：a. 一个硬盘理论平均使用寿命在百万小时级别，影响硬盘寿命非常大的两个因素是断电和震动，而这两个因素在机房里是比较好规避的。b. 拆机硬盘大概使用都在一年内，价格却便宜一半多（不到¥1k）。c. nas的存储必然会考虑到坏盘而不丢数据方案，通过使用不同品牌不同批次的硬盘相对能比较好的避免同时坏多块硬盘。而家里使用硬盘会频繁断电加电我估计两块拆机硬盘的寿命要大大于一块新的硬盘，说白了也就是在保障数据安全的情况下尽可能省钱。另外三块硬盘来自之前QNAP扩展盒里的两块4T全新希捷酷狼，以及一个自己用的老旧2T硬盘。（后面再写一篇文章关于如何使用这八块硬盘来保障数据安全的方案）

西数

东芝

希捷

4、SSD启动盘：系统装在硬盘上占一个硬盘位实在有点浪费。当然可以把系统装到u盘，然后插到r720内部的usb口上。也可以装一个sd模块，双卡，相互备份。考虑到成本，一个sd模块要几十块，好点的sd卡也不便宜。而且不确定sd模块的速度能到多少。usb是2.0的。所以想着加一个ssd，把系统装到ssd性能应该能提升不少。很不幸的是R720 并不支持扩展卡的的启动。

查阅了相关资料，Dell 12代（R620/R720/R730/R820/T620/M620等）服务器没有在BIOS/UEFI级别用来识别NVMe设备的驱动，只有13代以上的服务器才有。这就意味着我们无法在12代机器上直接使用NVMe设备启动系统。

一个曲线救国的办法，就是将系统安装到NVM2设备上，然后制作一个u盘或者sd卡的启动盘，比如使用Clover。加入NVMe的驱动到boot loader里。然后通过U盘或者sd卡启动系统。理论上通的，网上也有一些资料提到这个。于是开始尝试。U盘是闪迪1CZ430酷豆 16G，山泽pcie转m2 nvme31卡、Nvme是三星PM981a 256GNVMe。

两个方法制作了clover U盘启动盘：

1、mac下使用Clover_r5148.pkg制作安装盘

2、在windows下使用dut制作安装盘

经过测试，两种方法制作的clover启动盘都可以引导系统。通过bios启动模式下安装到nvme的omv是无法被识别的。因此需要在uefi模式下重新安装。不过试了很多遍，包括用了网上说的各种方法试了都在安装grub时失败。查阅了OMV的官方站点文档，没看到有具体说明，官方论坛里有说已经支持uefi，但是也很多用户遇到安装不了，当然也有用户说安装成功了。最后经过多次尝试发现问题出在ssd没有初始化上，如果重复 在ssd安装系统时留有上次安装的数据很可能会出错，所以 建议安装前删除ssd的所有分区。如果这样还出现grub错误，可以这样解决：

a、先忽略安装grub，下一步安装omv

b、用debian11安装盘启动，menu选择Advanced options -> Rescue，基本一直下一步，然后进入shell prompt。

c、执行apt-get install --reinstall grub-efi-amd64。

d、编辑 /etc/default/grub，在最后加入GRUB_ENABLE_CRYPTODISK=y，保存

e、执行 apt-get install --reinstall grub-efi-amd64

update-grub

f、退出重启。成功！

通过Clover引导系统识别到了OMV

Clover启动之后，每次都需要手动选择启动的系统并回车，这个浪费时间不说而且无法在自动启动系统并进行备份同步等操作。因此需要设置Clover自动启动。

设置方法是通过Clover configurator进行，选择第二项“引导参数“中 进行设置.

设置自动启动

“默认引导卷名”：填入引导系统的分区名称，网上有资料说这里也可以填入分区的UUID，在我的OMV系统分区（NVME）情况下，填入分区UUID并不生效。

我通过blkid /dev/nvme0n1p1获取UUID无法在clover默认引导卷名中使用。通过软件修改 lable，填写lable可使用。通过软件修改lable可能会引起引导错误但不影响使用。

“默认引导文件”：omv的引导文件是grubx64.efi，其他系统请查看具体文件名称。

“传统引导”：选择PBR

“等待时间”：选择倒计时的秒数

“XMPDetection”：选择YES-0

其他不修改。

重新启动后，会看到如上图的倒计时。

千万不要修改系统盘的UUID，否则将导致系统无法启动！！！

5、阵列卡：如前文提到的H710被JS换成了H310，H310是不带缓存的，性能自然会差很多，一开始我采用了Raid5的方案，实际测试性能确实很大，体感上就很慢。所以又买了一块H710的拆机卡换上去，不得不赞一下dell的模块化，换阵列卡连螺丝都不需要拧，都是卡扣，非常方便。当然最终我没有选择Raid5（具体我会在下一篇软件部分讲到这个）。把H710刷了直通模式。如何刷直通模式可以参考我前面的文章《H310,H710,H710P,H810 Mini和全尺寸刷IT（直通）模式》

6、独立显卡：这是一个比较纠结的事情，R720本身带的集成显卡是Matrox G200，16M共享显存，这个配置跑OMV肯定没问题，但是要跑win10这样的系统或者要处理个视频什么的就相当吃力了。而且加了显卡之后，比较重要的是必然会增加功耗。而且要解决直通的问题。独立显卡最大的挑战在于兼容性，根据官方的描述R720并不支持独立显卡也不建议加独立显卡。在网上找了很久终于找到一位国外大佬讲到他加了Nvidia T400显卡，兼容性没有问题，查了一下，T400的工装版价格差不多也就650左右，性能也基本能满足我的需求（在windows下做一些比较小且不复杂的视频剪辑），装上之后非常完美，没有出现风扇转速飙升的情况。T400自身带有一个散热风扇，在r720装上之后风扇嘲下。运行时机箱盖稍微有点温热，后面出来的风属于温的程度。在KVM+win10的虚拟机里，远程桌面，做不复杂的视频剪辑完全没有问题。具体下一篇也会讲到KVM+win11的直通。

对硬件做了以上升级后的功耗大约是100W。

功耗

总结：

1、购买R720的时候最好和商家确认iDrac是否有lience,并且请商家升级的到2.0以上,版本过低可能会导致无法使用iDrac，内置的usb口也不支持3.x的u盘

2、如果虚拟机对显卡要求不高没必要独显

3、如果不想折腾完全可以用内置的usb安装系统，没必要非得ssd。虽然ssd确实快很多。目前从加电到系统完成启动大概需要3分钟，最大的影响来自128G内存，如果是16G内存大概是1分钟。

4、拆机硬盘不知道是否靠谱，需要验证

至此，R720的硬件部分折腾就暂告一段落。下一篇正式开始软件部分的折腾。

作者声明本文无利益相关，欢迎值友理性交流，和谐讨论～