TrueNAS存储服务器装机，基于ESXI高可用规划

Hello我是不多BB的未命名，今天分享一套DIY存储配置。如屏幕所示插了4块4T机械 + 1块sata固态，待机只有17W功耗，其中3W还是IPMI。处理器4核8线程比8盘位白群强一些。与白裙对比在性能、价格、功耗、拓展性上都略有优势。装这套机子最主要想实现家里ALL IN ONE服务器的存储分离。

有观众疑惑ALL IN ONE理所应当就该包罗万象，你分离出来还叫什么ALL IN ONE。话虽这么讲，可真玩到深层次必然会明白ALL IN ONE什么都能ALL IN唯独存储不合适这个道理。原因主要有3点：

磁盘对虚拟化的影响：IOPS

过往虚拟化视频多次提到实践中影响虚拟机性能的因素往往不是CPU数量和内存大小，而是磁盘性能。相比VMFS存储系统（ESXI平台）专业的存储系统损耗更低，并且拥有快照、去重等等进阶功能。既然讲到存储就提一下IOPS，下图只是IOPS基本概念，具体虚拟化需要的IOPS性能还要考虑阵列算法、cache命中率等因素。总的概括虚拟化硬盘方向规划主要思考两个维度，一是容量够不够二是iops够不够。机械硬盘受限于磁头工作的物理特性IOPS甚至无法突破三位数，而M.2固态则能达到几十万IOPS，所以不差钱的话方案终点必然是全固态。考虑到家用场景只要做到系统在固态存储池，数据在HDD存储池就足够舒服了。而固态存储池用PCIE拆分卡解决，HDD存储池就是我们本期要做的存储分离。

部署结构

虚拟化要是有进阶的梦想必然走向集群，集群优势非常多高可用就是其一，而高可用要求存储分离。分离后整体结构要3台服务器起步，其中2台做算力服务器，1台做存储服务器。只要存储服务器不宕机，虚拟机算力由那台服务器提供根据需要可以动态漂移。比如常规状态下在A服务器上跑，当A服务器资源不能满足需要时把部分虚拟机转移到B服务器上。同理当A服务器宕机时，虚拟机会无延迟切换到B服务器上，和ALL IN BOOM相比稳定性直接拉满。3台服务器家用肯定劝退大部分人，但变通一下1台算力服务器加1台存储服务器同样能玩高可用。我做法是给存储服务器底层装上esxi，存储系统选择TrueNAS跑在esxi上，同时为确保性能不受损把硬盘直通给TruneNAS。这样当我的算力服务器宕机后，重点虚拟机可以转移到ESXI - B上，确保服务不中断。

噪音规划

家庭环境没有专业机房，机器放置的点位很容易让硬盘的发热和噪音给日常生活带来困扰。而拆分后算力服务器是没噪音的（仅CPU散热）随便放，存储服务器选择藏到角落最大程度规避生活干扰。也因此我家装修时在很多奇怪的地方预留了网线口，比如入户玄关、次卧飘窗以及吊顶内部等。

装机思路

前面长篇大论主要讲为什么要玩存储分离，明确玩法后开始分析装机思路。因为TrueNAS存储系统对ECC内存有依赖只能无情灭掉Intel家用平台；再考虑到家里已经有一台ALL IN ONE服务器，存储是从ALL IN ONE里剥离出来的所以整体功耗我要求不能增加太多，万能X99也因此被舍弃；低功耗还支持ECC就剩下E3和Ryzen。虽然锐龙主流是65W TDP但实际功耗是很低的，而且主板BIOS可以设置cTDP限制到35W。初步看Ryzen是个好方案，可支持ECC需要Ryzen PRO还有消费级主板并不是都支持ECC所以实操没有想的那么简单，最终出于价格原因选择了E3-1240 Lv5，25W TDP 4核8线程，PASSMAKR 6170分。虽然明面上跑分没有绝对优势，但在最大内存支持、可用ECC内存、PCIE通道数、CPU指令集等等其他隐藏参数上都有优势，所以不是小赢是赢麻了。整体虽然比不过锐龙，但锐龙整机费用会翻倍。所以只能安慰自己如果锐龙cTDP设置到35W，跑分肯定是没这么高的。

主板

我最终选用180块的E3-1240Lv5再搭配799的超威X11SSM-F整体属性全角度拉满。说到主板因为我们配的是存储服务器，肯定只能选ITX或者MATX。常规MATX主板只有3条残疾PCIE和4~6个sata接口。而超威X11SSM-F的魅力在于MATX身板却有8个sata接口和4条PCIE，还是3条PCIE X8加一条PCIE X16。特别强调8个sata接口和6个差距大到不在同一世界，因为你想组一台8盘位存储，主板sata接口不够你就得上转接卡，一张转接卡功耗10W起步。我们整机加硬盘工作状态才30W功耗，就为了拓展2个sata接口要整体增加50%功耗你觉得合适吗，而且还消耗一条宝贵的PCIE插槽。

作为服务器主板，背板接口丰富2个千兆网口、1个独立管理口、1个串口和1个VGA输出。

中文IPMI

虽然选择的1240Lv5没有核显，但我们主板自带集显，因此调试这套主机也并不需要亮机卡非常方便。值得爆吹的是这板子IPMI自带中文，且远控支持HTML5，对服务器板子不了解的观众可能不理解意味着啥，我ALL IN ONE服务器上的X99平台。板子是华硕Z10PA-U8/10-2S一千多块，想用IPMI还得另买模块，完了IPMI还没有中文，并且不支持H5远控，老平台的远程大都是基于JAVA的所以你必须先给PC装上JAVA才能使用非常麻烦。支持HTML5不光是使用省事，重点是通过手机浏览器就能做到远程操控。顺带告诉你要是上Ryzen，带IPMI的主板要两三千块起步。现在我问你799买这主板你觉得怎么样？包括视频开头之所以功耗能做到这么低全靠主板BIOS中开启了SATA、PCIE设备休眠。

内存

这套平台最大缺点必须用纯ECC才能点亮，普通内存和REG ECC都不行。看见纯ECC内存价格，有无数次想放弃这平台。一条8G纯ECC居然要130、16G得430。奈何X99基础功耗还是太高和E3、锐龙比至少翻一倍所以实在不合适。无奈含泪上2条三星DDR4 2133 8G纯ECC内存，马甲（佳翼内存之恋）是我自己加装的。

如果真玩高可用，16G内存肯定是不够用的！因为这点内存虚拟机迁移过来根本不够用，只是我暂时加不起内存先这样跑流程！

这里提一下TrueNAS SCALE版本身就支持Docker和虚拟机，但是TrueNAS的机制很容易抢占空闲内存，所以内存不够大的话TrueNAS系统自己很快就会把内存全吞了，再想启动虚拟机就没有多余内存分配了。像前文介绍的玩法底层装ESXI后期和ALL IN ONE服务器组集群，在上不起大内存的前提下间接起到限制TrueNAS内存占用的痛点。

机箱

机箱选宝藏盒主要因为手上有一个吃灰的，真评价这机箱问题也不少，最难受PCIE只有半高，因为这机箱体积已经不小了，不如加高5cm让散热器选择更多，PCIE兼容性更强。不满意主要做工是真烂，尤其硬盘托盘是我见过用料最拉的。不少人吹的顶部半开盖的设计我觉得真属于小聪明了，因为就算半开4个螺丝一个不少拧，经常开一半发现腾不开手不得不再把另一边打开。本来拆4螺丝能做的事，搞成了拆6个徒增工作量。

老观众都清楚我研究被动散热花了不少心思，它创造性的做了硬盘和主板的分离设计，让两者散热物理隔开这点我很欣赏，是打动我玩的核心原因。我玩FANLESS很多人说多此一举，也不少人共鸣说有被噪音和温度困扰的问题。这个点真没法过多解释，话不投机半句多，只能说懂的都懂。

散热

宝藏盒留给CPU散热高度有限，我搭配的金钱豹115X-V15纯铜底散热，别看体积不大（仅6cm高）拥有恐怖的200W TDP散热能力。1240Lv5才25W，所以干脆不接风扇降低噪音直接当被动散热器使用。选这个散热还因为它配的是6025风扇，进阶的话能自行升级猫扇，属于进可攻退可守，唯一缺点略贵和CPU同价。

存储池思路

作为8盘位机器肯定有人困惑暂时用不上怎么办，其实我也用不上。因此我选择先创建一个存储池A，用4块盘做Raid5也就是Z1。等不够用了再上4盘位还做Z1生成存储池B。8盘一次性到位只有2个优势，①能组建一个非常大的存储池，对正常人讲没实际意义，毕竟还要分区的。②8盘整体做Raid5或Z1只浪费一块盘的空间，这操作有点优势但不多，因为8块盘也不少了，仅1块盘冗余还是挺危险。保守派肯定得Raid6或者Z2，这能对抗2块盘意外损坏，如此一来反正都浪费2块盘空间，那分成2个存储池分别做Z1或Raid5结局是一样的。分2个存储池等有大容量需求时可以再用4块16T组建存储池B反倒更灵活。所以这套方案完全可以量力而行，不是非得一次性把硬盘加满。

硬盘

我是专门配给虚拟化服务器用没必要上大容量，故硬盘用的4T紫盘。图它噪音小温度低主要还便宜，这样还把机箱硬盘笼的风扇省掉了，整体还是FANLESS思路向生活妥协，静音盘+整机无风扇。

系统U盘

因为超威X11SSM-F没有M.2接口，一次性上满8盘位会导致系统没地方装。看过我ESXI教程的都知道U盘装系统是非常完美且正确的最优玩法，本次延续这种方案。我手上刚好有块ORICO新款固态U盘，全金属机身。读写约500M/S,性能不输sata协议固态，而且支持Tim和GC不会因为频繁读写而降速。我这块是512GB，直接当固态硬盘用了。装完ESXI还有300G剩余，无论做ISO镜像仓库或划分给虚拟机使用都很方便。我TrueNAS、Win10都装在U盘存储上，创建时硬盘没有选择“厚置备，置零”性能还不是最佳状态，即便如此跑分比机械硬盘还是强些的。

电源

1U电源因为家里有一个海韵，故选择益衡7030B试试水。无论海韵还是益衡出厂都是非模组，这种工业电源原厂线非常硬，体验过一次基本就不想再接触了。根据之前经历这次买了DIY全模组+定制线，300瓦400块还是挺贵的。到手因为线长度不够换过一次，自己用力过猛把线头接口拔掉又换了一次，体验直接爆炸，所以知道录素材我为啥不拆电源了吧。

总结

这台存储服务器的基础情况就分享完了，自我评价的话算是妥协了价格、功耗还能拥有成体系玩法的不错选择，但不是最优选择。因为存储服务器的配置真得看需求，它不像ALL IN ONE定位起点高加钱党能做到全都要，DIY存储最大的博弈在于加钱太多不如买白群，功耗太高不如装ALL IN ONE。全都要的最优方案钱包是要突破天际的那就杀鸡用牛了没有实际执行意义。因此妥协价格后各类DIY存储方案必然都会有某一项缺陷，这套遗憾的是超威X11SSM-F不支持CPU核显输出，但话说回去上一块功耗优秀的核显E3再换一块带IPMI还支持核显的板子整机得加一千块，有一千块买个独显不香吗。所以评估各类方案后，我认为这套还算可圈可点。

装机只是起点，深入折腾按照前文理论想完美的话还得配PCIE拆分卡、万兆网卡等配件。这期节目之所以没上，因为家里ALL IN ONE服务器已经坏了好一阵子，这套联动体系因此没有施展拳脚的机会。加上X99 ALL IN ONE折腾一整最终师傅没修好，前阵子干脆化身加钱党从X99升级到了EPYC平台。关于我家的新服务器之再跟大家介绍吧。

作者声明本文无利益相关，欢迎值友理性交流，和谐讨论～