万兆+ SSD 缓存！打造超越白裙配置的黑裙！[Part2] Nvme 王道复活！

创作立场声明：1. 本系列文章讨论NAS与局域网， 请小编高抬贵手不要分类到无线网络去
2. 如果你读了开头， 有“可我的宽带才300M”的想法， 那么这文章还不适合你的需求， windows下请按Ctrl+W, iOS请按Home键，安卓我不熟.....

首先我把大家问得比较多的有用信息链接列表如下：

篇一： 万兆交换机&网卡选择

篇二： SATA SSD缓存实测与否定 同时有DS918+固件的硬件要求

篇三： Nvme SSD缓存使用的硬件与固件要求

篇四： 降成本， 提性能

还是建议大家按顺序阅读， 不容易产生误解

购买理由

接上篇， SATA SSD 在黑群晖中用作缓存， 已被实验证明助益不大， 而DS918+ boot loader 1.04b 发布后， 我一直关注Xpenology的相关讨论， 时间到了11月底， 在一片双11紧接着黑五的忙乱（忙着下单，转运， 收货 ）后， 有一天发现Xpenology上有大侠发现了DS918+ 固件的Nvme设备识别机制， 原来群晖不同的机型， 有些支持Nvme， 有些不支持， 而支持Nvme的机型如DS918+， 它的Nvme驱动 ： /usr/lib64/libsynopnvme.so 是群晖自己写的而不是通用的， 反编译后可以发现DS918+ 机型的PCI 总线设备地址是固定的0000:00:13， 其他各种机型， PCI总线设备地址各不相同，这就是为什么白群DS918+支持Nvme SSD缓存， 而黑裙DS918+绝大部分都不可以，因为大家DIY的通用主板上插Nvme设备， 不大可能PCI总线设备地址和白群这样定制主板的一样。（Xenology论坛的讨论帖子文末附上， 很长， 我就把英文结论的大意用中文讲一下）， 这里附上大神反编译的截图：

有了发现， 自然有大神当场给出解决方案， 没几天就有了针对DS918+固件的解决方案， Nvme SSD复活了。 我没啥说的， 乘双12来临， 最近的当红炸子鸡--东芝RC500 256G Nvme SSD 来一对！

东芝（TOSHIBA）250GSSD固态硬盘M.2接口（NVME协议）RC500系列299元京东去购买

外观展示：

第二天东哥快递送来RC500一对， 250G的

平台为了看到M.2 Nvme的全部威力， 直接用了技嘉B365M小雕， 双M.2 PCIeX4期望发挥Nvme SSD全部威力！内存DDR4海盗船白金统治者， 没有其他DDR4内存了，暂时从另一台上拆一对拔了8G过来。

技嘉（GIGABYTE）B365MAORUSELITE“小雕”电竞游戏主板支持WIN7支持9400F(IntelB365/LGA1151)698元京东去购买

技嘉B365M Auros小雕

注意主板的这个特点： 6SATA， 双全速M.2 ， SATA的位置是向上而不很多所谓电竞板的侧向开口， 安装过万由 UNAS NSC-810A箱子的都知道， SATA口侧开安装时会有多麻烦！ 。 我原来的正选主板ASUS M8G 就是因为侧开， 不锯前面钢板是没办法插满6个SATA口了。 只好把原来升级主机用的技嘉B365M 魔改Bios拿过用， M8G 改了Bios继续顶一会主机MB角色

电源海韵 SS-350M1u 金牌， 请人重做了软线，否则在万由810机箱很容易24pin不够长， 需要延长， 而延长线24pin个子很大， 很容易出问题（说多了都是泪， 因为这个差点以为目前的Nvme不能稳定使用了）

安装与DSM调试：

测试的时候主板技嘉B365M ， CPU Xoen E3-1235Lv5 魔改bios硬上， Intel X550 万兆网卡，4T 西数企业盘做存储盘。 因为 万由 810A机箱有8个盘位， 所以只插了前6个盘到主板， 后两个要用， 70块买个Asmedia 1062 SATA卡的事， 等有需要再说。 两块RC500 250G SSD, 分别放两个全速M.2槽上。 这时候我什么也没做，开机还是在DSM6.2里找不到两块RC500， 接下来的步骤用于复活Nvme支持：

1. 登陆DSM管理页面，然后在DSM 控制面板“终端机与SNMP”栏目中， 勾选打开SSH， 端口就默认的22好了。

2. 

3. 从这个链接下载用于修改Nvme驱动的脚本libNVMEpatch.sh：
   https://xpenology.com/forum/applications/core/interface/file/attachment.php?id=7679
   

4. 不管你用FTP也好， DSM文件管理器也好， 把这个libNVMEpatch.sh 拷进你的黑群晖里， 比如， copy 进共享文件夹 PublicShare

5. 打开putty或其他SSH工具， 登陆群晖的SSH， 地址填黑群IP地址， 端口就是刚才默认的22

   
   

6. putty 登陆

7. 如果第一次登陆，出现认证码， 请点OK

8. 用admin 账号和密码登陆, 进入SSH命令行， 接下来都是敲命令行：

9. sudo -i ( 提示符后再次输入admin密码， 获得root权限）

10. 找到你的共享文件夹比如PublicShare， 我的在/volume1/PublicShare

11. cd /usr/local/etc/rc.d/

12. cp /volume1/PublicShare/libNVMEpatch.sh .

13. chmod 755 libNVMEpatch.sh （这步是让.sh文件具有可执行权限）

14. 退出SSH

注意这里libNVMEpatch.sh在rc.d目录下， 已经成了一个自启动执行文件， 但其实这主要是防止一些小版本升级不小心改到了Nvme驱动二进制文件， 把patch覆盖了。 如果你能忍住不升级， 只执行一次也是可以的

接下来就是重启黑群， 再次开机后，登陆DSM，打开“存储空间管理员”， 可以看到HDD/SSD栏下面， 赫然已经认出了两块Nvme缓存设备！！

接下来没啥好说的“ SSD缓存” 一栏下面对Volume1创建读写缓存， 为了SSD的寿命和速度， 这里只创建200G的缓存， 留出30G做后备， 经过一阵子等待， 缓存创建完成，

测试与对比：

与SATA SSD时的测试一样原理，在“SSD缓存”--“设置”中关闭"跳过连续I/O“以达到100% 缓存所有读写的目的。测试都采用SAMBA协议。

连续大文件读测试

首先是一次NAS到PC的读操作， 组成是10来个500M到10G大小不等的视频文件，由于第一次缓存是空， 速度其实是机械硬盘的速度。 但亮点是， 与SATA SSD 缓存不同， 速度稳定在170~150M之间，没有明显下跌！说明当缓存在Nvme PCIe 通道时，对SATA 通道影响极小

接下来的第二次读， 同样内容， 不同的目的地（ 为了保证没有win10缓存影响， 我实际上换了另一台PC）。可以见到此时速度几乎已经是万兆网络的极限， 且非常平稳：

连续大文件写测试：

首先是大文件写测试，对象是一个大于10G的mkv文件， 基本全程稳定在900MB/s左右， 完全不会像SATA 缓存那样波动

大量小文件 （4K） 写测试

我从我的照片库里找了一个文件夹由600多个照片文件组成， 有JPG也有RAW文件， 大小从4M到40M不等，总量在16G左右，一次性用paste命令向NAS拷贝， 可以看到前期（多为小容量JPG文件） 略有波动， 后期都是nikon D850单反的NEF 格式RAW文件了，速度稳定在370~400MB/s之间

测试中的插曲是， 在一次4K测试中， 我的黑裙DS918+ 莫名重启了， 害得我的主硬盘也文件系统损坏， 修复了10来分钟。 修复重启后打开日志， 发现如下：

SSD 过热重启

没想到DSM对SSD的保护这么严， 好吧， 于是又给两片SSD都添了马甲， Jonsbo的看起来比较厚， 就他了。 之后在“存储空间管理员” --"HDD/SSD"--状态下查看两块SSD的温度， 就再没超过50C

总结

到这里我想不用我分析， 大家也看到了如果采用2块性能不错的Nvme SSD做缓存， 基本可以在日常使用把被缓存的黑裙NAS中的单HDD盘当作是一块SSD用， 当然读写都不可能超过1GB/s的万兆网速限制 。 以我的使用习惯为例， 基本黑裙主要是下载美剧， 一集不会超过1GB，或者存储每次出游的照片， 一般在2，30G一次， 如果是长途旅游比如美国西部， 西班牙安达卢西亚这样10天以上的， 才可能会有200G以上。 这样算下来， RAID1 的两块250G SSD应该基本都能够缓存下。 我想这已经比同样混合SSD/HDD的Apple的Hybrid disk更爽了吧。

纵观目前群晖自家的NAS型号， *级家用的DS918+有两个m.2可以扩充Nvme SSD， 但却只有单千兆网卡且没法扩充。 企业版的如DS1018+有PCIex8槽， 可以用M2D18扩充NVme SSD, 也可以扩充万兆网卡， 但两者不能得兼。 所以， 看起来似乎我这个黑群， 8盘位（目前插6盘）+万兆网卡 + E3 V5 CPU + 8G DRAM， 似乎已经是全面超越了啊 （低调,低调）。

当然， Nvme SSD cache 不会没有缺点， 首先是数据安全性的下降， 刚才提到的一次过热重启就是证明， 由于发生在对NAS写操作的时候， 令NAS 文件系统被部分破坏， 这也是为什么群晖DSM坚持一定要双SSD RAID1 才能打开写缓存的原因吧。

另一个缺点是： 使用写缓存后， 有很长的“贤者时间” 。 简单说， 就是SSD帮你缓存了要写进NAS硬盘的数据后， 应该在闲时把数据写回到硬盘中去， 不知为何群晖DSM的这个时间特别漫长， 如果是Nvme SSD 写缓存的话， 经常写进NAS很爽只要几秒钟， 但是接下来可能几十分钟都在把数据写回硬盘。 如果打开“资源监控”--“磁盘”-“全部”， 可以看到从缓存写回硬盘的速度只在10MB/s左右， 难怪要这么慢......

从缓存写回硬盘： 8~9MB/s

最后一个问题是： 我发现用RC500 SSD缓存后， 读写的速度不稳定， 特别是写， 如上图是900MB到1GB每秒， 但有时候不是4K小文件， 也会突然掉到200，300MB/s的写速度。 但过一天速度又恢复了。 这样的原因， 我也发现了， 容我卖个关子， 到【 Part 3】抠与优化 再讲

最后， 许多朋友说Xpenology不容易上， 这里把脚本放我度盘了

链接: https://pan.baidu.com/s/1QP7RkpPosIhBamgA3yIqKQ

提取码: mqxa

最后的最后， 附上Xenology论坛的相关话题链接， 感谢这些Geek们的努力，我们才有黑群用！（可能被墙）

https://xpenology.com/forum/topic/13342-nvme-cache-support/page/2/?tab=comments#comment-125506

后记， 近日发现DS1019+的DSM 6.2 bootloader也出现了， 分析了下觉得和DS918+在总硬件能力上差不多， 初始的配置比DS918+好， 但现在的DS918+ bootloader 也都改成了16盘和双网卡， 对我来说差不多了， 大家依喜好而定， 至于Nvme支持， 我也只保证DS918+可以工作