废物利用之E3-1230v3再续命之unRAID装机感想

开篇碎碎念：

最近刚刚搭了台小机器跑unraid，有些心得体会随便写一写，在这个国内最大的unraid社区抛玉引砖一下。

本身是群晖用户，和很多人一样，从09年孩子出生，就开始有NAS的需求了。最早是一台DS210j：

后来换了DS215+：

然后去年DS420+（外壳质量比215差太多，简直是开倒车）：

基本一台用5年，群晖用着还挺省心的，不过今年年中在联想官网买了台拯救者Y9000p（1万零99，原价好像是9599，加了500块，官网都加价，%……¥#@%）：

老台式机需要退役，然而13年装的机（E3-1230v3+H87+GTX960）：

食之无味，弃之可惜。于是就决定废物利用一下，尽可能利用现有硬件，装一台headless的机器，跑些虚拟机，小服务什么的，还可以把GTX960趁现在有点剩余价值卖掉（后来卖了600多）

机器配置和选择上的一些考量：

CPU，来自老机器，是2013年的网红U，E3-1230v3, TDP 80w， 性能肯定没问题，就是24小时开机可能有点费电。

主板，来自老机器，技嘉的H87，ITX小板，4SATA口，自带双千兆网口，不过一个是intel的芯片，一个是Atheros的，不能链路聚合。一个PCIE口，只能留给SATA扩展卡。

内存，同样来自老机器，8Gx2，其他不重要了。

硬盘，两块西数Red3T，一个加电5年多，已经有坏道（这也是去年升级NAS的原因），另一个快7年了，一切正常，没道理讲。一块希捷500G，加电时间只有2年多，实际购买时间可能是10年前了。SSD一块240G，之前在上面装了TrueNAS测试，还有一块120G的SSD，装了ESXi，这两块都是老盘了。另外还有四块机械盘，现役在DS420+里，两块是酷狼4T，两块是西数14T的海淘拆盒盘。

以上是还能用的现有资源，以下是要新买的。

机箱，原有的机箱我在光驱位装了个硬盘抽取盒，能放一大一小两块盘，里面根本没装其他盘了。肯定要换，一轮搜索最后锁定了银欣的DS380，8盘位热插拔硬盘笼，里面还有4个2.5寸盘位，只支持ITX板，尺寸比较紧凑，家用场景比较合适。但要吐槽一下，这恨不得是10年前上市的产品了。

电源，DS380只支持SFX电源，原来的ATX电源用不了了，入了一个银欣450W的。CPU的TDP是80W，一个硬盘算10W，满载的话是80+120=200W，而据说电源在一半额定功率工作时效率最高，所以。。。400w左右应该够了。

SATA扩展卡，这个其实应该是NAS机装机的重中之重，但当时看了一堆，什么阵列卡，直通卡，还有什么IT，IR固件的，不知道有没有IQ固件，反正我的IQ是不够用了，随便整了个八口的扩展卡，没想到留下了隐患，后面详细说。

系统，主要是在unRaid和TrueNAS 之间选择，两个我都装了，整体感觉TrueNAS设计的更适用于高性能的服务器，数据都缓存在内存里了，所以大容量ECC内存比较适用。而unRaid更适合老破旧的机器，破破烂烂堆起来都能用。另外ESXi我也试了，装的7.0.1，现在最新是7.0.2，7.0.3也发布了的，然后翻车又召回了。这个是个比较纯粹的虚拟机底层，本身没什么卵用，我保留了它的启动盘（120G的SSD），计划是想用时把unRaid的启动U盘拔了，把它插到1号盘位，希望能启动吧，毕竟没了显卡我也改不了BIOS设置了。

硬件安装调试略过，聊聊一些感想。

关于机箱：

DS380这个机箱，太紧凑了，装起来比较费劲，主板我只上了3颗螺丝，第四颗太靠近底板，下不去手。CPU风扇用的是原来的120冷排，只上了两颗螺丝，丁零当啷的挂着，而且因为空间太狭小，很多线要提前接到主板上，再放机箱里，主板进了机箱再接线，手要够小，皮要够厚才行。唯一的PCIE卡槽，说是能插半高的卡，实际最好还要是短卡才行，半高正常长度的还是会和硬盘笼有冲突，要牺牲3号盘位才能解决这个问题，比较恶心。我一开始用的是半高短卡，装里面没有问题的，可后来换了LSI 9207的半高不短卡，硬盘笼三号盘位就会和卡上端亲密接触了，好在突出的不多，被我用蛮力解决了，没有牺牲盘位。另外电源最好还是模组+定制线，当然那又是一笔挑费。我用的SFX电源是非模组的，再加上一堆硬盘线，简直惨不忍睹。

CPU冷排的两根水管也增加了走线的难度。总之最后我的2.5寸硬盘挂架都没装进去。其实家用NAS机箱，热插拔还真没那么重要，象我原来那样，在光驱位装个支持热插拔的硬盘盒可能就够了，这样选择就多很多，价格也便宜很多。

主板最好是支持MATX大小的，很多服务器主板都是MATX的，扩展卡也能多插一两块。如果再选，我可能会选个大一点的多盘位MATX机箱，原来的ATX电源可以继续用，但没有背板，电源转接线肯定要多买几条。这样安装简单一点，将来换CPU主板选择也多很多。

关于RAID：

之前在群晖上，我是两块4T的RAID0，两块14T的RAID1，做了两个存储池。同时需要读写性能时，就放在RAID0上，只需要读性能时，就放在RAID1上，例如所有的电影电视剧和备份我都放在了RAID1上，而docker和虚拟机还有群晖所有的应用，都在RAID0上。

接触了unRAID以后，反思了一下，基于千兆网和家用的环境，其实RAID并没有给我带来性能或者安全性提升。首先我现在的网络只是千兆网，而且未来5年没有升万兆或者2.5G的打算。虽然我的群晖接了两条网线在支持链路聚合的交换机上，但网络传输几乎没有能超过120MByts/秒的速度，也就是千兆极限了。所以RAID0只是把我数据丢失的风险增加了一倍，其他毫无益处（当然NAS内部两个存储池之间倒腾备份数据还是有好处的）。其次，RAID1用两个盘确实提高了数据的安全性，但我设置个定时备份（家用没有实时备份的需求）一样能达到相同的效果，还省下一个盘的空间呢。就是些照片电影音乐什么的，一个月定期备份一次也够了（现在一个月拍不了几张的前提下）。而且群晖用的只是软RAID，重建能比我直接从备份还原快？所以unRAID的理念我是非常认同的。另外吐槽一下群晖的固态缓存，我装了两个512G的固态缓存，但它们只能组成RAID1给其中一个存储池用。而在我这512G好像太大了，大半年使用量才超过了256G，命中率还只有60%左右，不清楚群晖的缓存策略，但unRaid的还是比较清楚的，合理设置的话可以获得比较好的缓存应用。

SATA扩展：

我的主板本身带4个SATA口，我之前只用了两个，接在我的硬盘抽取盒上，那个盒支持同时插一块3.5寸和一块2.5寸的盘，在群晖上我还建了一个800G的iSCSI盘给电脑做数据盘用。顺便打听一下，unRAID有没有能提供iSCSI服务的插件？我只看到有能使用iSCSI盘的插件。

改做NAS机后，DS380这个机箱，有8个热插拔硬盘仓，还有4个2.5寸内置硬盘位。如果满载的话，需要12个口。网上很多视频对SATA扩展卡的选择都是一笔带过，或者语焉不详，我也没在意，搞不清楚就随便买了个不到200块的8口的扩展卡，看着短小精悍，好插就行了。确实也能用，速度也OK，就是不知道为啥，一启动parity synccheck，CPU先是拉满，然后机器就彻底失联了，ping都ping不通。后来直接在unRAID的支持论坛上问了问，上传了sys log和diagnostic的文件，也就有人回复说看到一堆ATA错误，看起来是扩展卡的问题。我就开始去搜索扩展卡了，结合网上大神发言和unRAID官方，最后又买了个LSI 9207-8i的卡，装上就毫无问题了，当然安装还有点问题（参见机箱评论部分）。不过据说这个发热严重，还需要安装主动散热，我没管了，先凑活用两天，那破机箱拆装一次工程太大。附个官方的LSI支持列表给大家参考。

之前的硬件信息：

IDE interface [0101]: ASMedia Technology Inc. ASM1061 SATA IDE Controller [1b21:0611] (rev 02)

Subsystem: ASMedia Technology Inc. ASM1061 SATA IDE Controller [1b21:1060]

更换之后：

Serial Attached SCSI controller [0107]: Broadcom / LSI SAS2308 PCI-Express Fusion-MPT SAS-2 [1000:0086] (rev 05)

Subsystem: Super Micro Computer Inc Onboard SAS2308 PCI-Express Fusion-MPT SAS-2 [15d9:0691]

供大家参考，大神指导。

硬盘分配心得：

首先，unRaid里面把硬盘分为三类，奇偶校验盘（parity），数据盘（data）和缓存盘（cache）。

奇偶校验盘容量必须大于等于你容量最大的数据盘。

数据盘是可以全部放一起做一个存储池的，同一个目录下的文件是可以分布到所有盘上的，但还是建议给目录设定指定的盘存储，预估目录文件数量和大小，尽量让它们集中在一个盘上。

缓存盘可以多个盘组成一个缓存池，然后可以创建多个缓存池，可以给特定的目录指定专用的缓存池。

先说parity盘，可以没有，可以是一个也可以是两个，好像最多两个，通过计算奇偶值，提供允许一个盘完全挂掉后恢复的能力，array里有多少盘都行，原理很简单，就像1+1=0一样，有兴趣的同学可以去官网看文档。有同学说加了parity写入会变慢，我觉得也还好，就是不管哪个盘有写入，parity盘都会被激活启动，同时运作，费电伤盘是肯定的了。还有第一次sync的时候，所有盘一起动，直到最大容量的数据盘校验值写入parity盘为止，我因为有个14T的数据盘，一共跑了30+个小时。我那个14T的数据盘只有1T多有数据，至于全算一边奇偶值吗？我理解应该算到存储了最多数据的那个盘（2.76T）的最后一个bit，后面全填0就完了。另外观察了一下parity计算过程，有一事不明，开始5个盘一起转，全部速度都是117mb到120mb，四个数据盘是读，parity盘是写。后来写到3T以后，其他盘都停了，就两个14T的在转，一个读，一个写，速度全在200以上了，哪位大神解释一下？两个14T我是接在主板SATA口的，其他都是接在扩展卡的SATA口的，是主板口比扩展口快的原因吗？其实是应该优先使用主板上的口，还是优先使用扩展卡的口比较好？另外一开始因为SATA扩展卡的问题，我是没用parity盘的，也挺好的，后来有鉴于20T的容量也够我用了，富余一个14T闲着也是闲着，最后就还是把它做parity盘装上了，这样功能完整一点。

再说数据盘，根据我自己的情况，硬盘规划其中一项，是给我的mac做Time Machine备份机，这点unRaid可以说支持非常好了，我的mac硬盘是500G的，现在使用了大概一半，给个300多G备份空间就够了，对我来说有一个备份就够，再多意义不大。这个光荣的任务交给了我那块500G的陈年老盘，我把它指定为了Time Machine的唯一可用盘，并且设置Cache选项为Yes。理想是平时mac备份时，就只写入Cache，其他盘都可以保持休眠，晚间Mover启动时把cache清空挪到那500G里就行了，而这500G随时挂掉也无所谓。当然现实是，第一次完整备份以后，Mac差不多每小时都会启动一次备份，而且它备份的时候还要读取之前的备份，结果造成我那个500G的盘老是断断续续的启动。

影音数据，电影啊，电视剧啊，以及等等哈，我都塞到那两块3T的红盘里了，一个限定只放电影，一个限定只放电视剧。其中5年期那块红盘已经一堆坏道了，随时可能挂掉。这些没了也就没了，不心疼，另外我也可能会把群晖里那两块4T也拿过来，群晖直接退役。用盒子（KODI）放unRaid上的视频文件，用了几天，和之前没啥区别。唯一有问题的是，有个2小时的电影，数据文件比较大，45G，看的时候会卡，差不多30秒就要卡个10秒，而之前用群晖从来没发生过这种事。监测了一下硬盘，读取速度也就4m～5m，完全没有达到硬件上限，不知道为什么，还要再研究一下。

个人重要数据，照片文档等等，以及所有乱七八糟的备份，全扔在唯一的14T数据盘上了，目前群晖还在服役，上面还有一份。如果迟点决定把群晖退役了，那还要再考虑一下，这些重要数据还是要多一个备份比较好。

最后说说缓存盘，unRAID缓存非常简单粗暴，木有算法可言，就是按文件夹指定。只放缓存（only），优先缓存（prefer），要缓存（yes）和不要缓存（no），四个选项。

首先说不要缓存（no），这个读写都不会经缓存，影音备份等大文件，不频繁访问且没有太大速度要求的，一律设No，否则缓存爆的很快，因为unRaid处理缓存没有任何智力可言，写到爆为止。

然后是要缓存（yes），这个日常有写入的时候，会写到缓存里，直到某个你设定的时间，它有一个叫Mover的程序，在你设定时间，它会启动，把yes的数据从cache，move到数据盘里，一般设定一个半夜时间，一天一次就可以了。是的，就是这么完全无脑。推荐TimeMachine备份文件夹设置为yes，但要注意，爆了他是不会自动move的，你得亲自动手。可以称之为半自动模式

再然后是优先缓存（prefer），这算最unRaid烧脑的选项了，缓存有地方往缓存堆，缓存满了往数据盘堆。是的，它需要自己判断缓存是否满了，全自动啊。VM，docker，系统之类的建议都选这个。

最后是只放缓存（only），这个是无脑直接写缓存，满了就报错，你手动move都不管用。如果缓存盘大的话，prefer的就全改成only好了。

群晖那种不知道用了什么高端算法，我是理解不能的了。威联通的缓存好像也比较实用，不过我没详细了解。插一嘴TrueNAS，原来的FreeNAS。它缓存全在内存里，内存越大越好，而且建议使用ECC内存，据说当不幸碰到太阳黑子剧烈运动，或者什么粒子正巧穿过你的内存芯片，存储单元受影响发生比特反转，ECC可以救你的数据一命。

作者声明本文无利益相关，欢迎值友理性交流，和谐讨论～