玩弄数码 篇一百一十九:40G网卡七十块,4T SSD只要一千块!HP544网卡+宏碁掠夺者GM7 全闪40G NAS干货教程!
文章有点长,但都是干货~
现在放在你面前的是,两块来自Mellanox HPE 544+FLR QSFP 40G的四万兆网卡。
现在又放在你面前的是,两块来自宏碁掠夺者GM7 PCIe 4.0 4T的满速无外缓盘。
那么它们之间能碰撞出什么样的火花呢?
我们这一次整个大活,我们将会以这两块40G的网卡和这两块4T的PCIE 4.0盘来组装一台NAS出来。
前排提示,本期纯整活,方案实现并不完美,且并不具备日常使用价值。
选择硬件
全闪NAS中最核心的三个部件就是硬盘、网卡、主板。
网卡是对外连接的上限,硬盘的速度是内部传输的上限,主板是承载这整个系统的基板,兼容性和通道的速度都由它决定。整个系统就像是一个水泵,网卡就像是出水口,出水口的直径限制水的流量,硬盘就像水泵电机,转速高低决定水流速度,主板就像整个水泵外壳。
硬盘选择
这一次选用这的两块4T的PCIe4.0盘是来自宏碁掠夺者GM7,是一块非常经典的满速无外缓盘。
官方标称顺序读取速度能到7400MB/s,顺序写入速度能有6500MB/s,950K IOPS的随机读取性能,标称性能可以说是无外缓盘的顶级性能了。
我们比较关心的售后方面是五年质保,写入量保修4T版本给到了2400TBW,五年质保和TBW以先到者为准,这样的售后服务还是非常让人放心的。
包装依旧是宏碁掠夺者的经典包装,黑色哑光搭配亮面的硬盘图片,质感非常不错。
正面是自带的石墨烯散热片,能有效导热,也可以搭配金属散热片使用。
ps:盘自带的散热片被撕过所以有点褶皱。
硬盘背面就是常规的序列号信息。
正面四颗粒,没有独立缓存。所有芯片集中在正面,这一点非常不错,散热效率比较高,设备兼容性更加好了,适合笔记本用户和主机用户,当然也适合台式机用户,可以搭配主板自带金属马甲散热了,无需考虑像双贴盘那样背面颗粒散热不佳的情况。
主控芯片是来自国产联芸科技的MAP1602主控,是联芸的第三代主控产品,采用了12nm制程工艺,无缓存设计,全盘模拟SLC策略。
颗粒是来自长江存储的232层TLC颗粒——X3 9070,可以做到单颗1T容量,实现了高达 2400MT / s 的IO 速度,性能十分强悍。
那接下来上机看一下这块硬盘能有怎么样的表现吧!
硬盘测试
首先测试单块硬盘的测试平台不是我们最终实现NAS的平台。
测试平台:零刻SER7 MAX这次换演员了(bushi,纯属是不想拆机器了)
CPU:R7 7840HS
系统盘和测试盘都跑在PCIe4.0 x4通道上,并且做好了散热。
CDI
首先是检测硬盘SMART信息的crystal disk info软件,可以看到硬盘的传输模式正确跑在PCIe4.0 x4通道上,待机温度在43度。
CDM
速度测试第一项是crystal disk mark软件,1G测试,可以看到读写速度分别是7122MB/s和6503MB/s,最影响日常使用的4K随机读写性能更是突破了1000K,顺序读取是927K IOPS,顺序写入高达1030K IOPS。
AS SSD
AS SSD 的策略与CDM不同,其测试成绩更贴近日常使用一些,不过也是娱乐软件,CDM追求标准的峰值性能,AS SSD每次测试波动会比较大。
顺序读写能达到5668MB/s和5491MB/s,最终获得了8568的好成绩,可以用作同价位固态参考。
AIDA64 Disk Benchmark
接下来是最漫长且“残酷”AIDA64的写入测试,通过这个软件测试,可以很直观地看到这块无外缓盘的模拟SLC缓存大小,和整体写入速度,以及主控的策略。
只能说不愧是4T盘呀,测试足足跑了一个半小时才全部写入完成。
从全盘写入的情况来看,宏碁掠夺者GM7 4T呈现三段式写入,SLC缓存的大小在1070G左右,缓内的读写的速度在5200MB/s左右,对于4T盘来说,将近30%的SLC缓存还是挺大的了。
当SLC缓存写完的时候,进入到TLC直写阶段,速度还能保持在2400MB/s左右,但是TLC直写阶段非常短,当写入到2T的时候就会进入到第三段,速度保持在840MB/s左右。
URWTEST
在最贴近实际使用的URWTEST测试中,宏碁掠夺者GM7缓内的速度实际能有3000到3500 MB/s,性能还是非常不错的。
可是,硬盘实际缓内写入还是只有3000+ MB/s,根本没办法到达40G网卡的极限性能呀,那要怎么办?
我们准备直接给这两块盘组建RAID0阵列,我就不信跑不上40G!
网卡选择
我们为什么会选择卖螺丝核心的HP544+FLR网卡?
因为便宜,实在是太便宜了。
40G的网卡只需要40块钱,隔壁Intel的82599芯片的万兆光口卡还要100块钱呢,40G的网卡已经是白菜价格了。
HP544+FLR QSFP网卡是迈络思CX3PRO芯片,同时支持10G、40G或56G的以太网和InfiniBand。
以太网方面支持
IEEE Std 802.3ae 10 Gb 以太网
IEEE Std 802.3ba 40 Gb 以太网
IEEE Std 802.3ad 链路聚合
IEEE Std 802.3az 高能效以太网
IEEE Std 802.1Q/.1P VLAN 标记和优先级
IEEE Std 802.1Qau 拥塞通知
IEEE Std 802.1Qbg
IEEE P802.1Qaz D0.2 ETS
IEEE P802.1Qbb D1.0 基于优先级的流量控制
IEEE 1588v2
巨型帧支持 (9600B)
INFINIBAND支持
符合 IBTA 规范 1.2.1
基于硬件的拥塞控制
1600 万 I/O 信道
256 至 4K 字节 MTU,1G 字节消息
兼容性
PCI EXPRESS 接口
符合 PCIe Base 3.0 标准,兼容 1.1 和 2.0
2.5、5.0 或 8.0GT/s 链路速率 x8
自动协商为 x8、x4、x2 或 x1
支持 MSI/MSI-X 机制
但是这个网卡比较特殊的是,插槽并不是正常的PCIE插槽。这个也不是什么问题,现在已经有这个KCORES开源的转接板,有能力的可以自己打板,成品的转接板也都不贵,一块转接板加挡板也就二十来块钱。
我们这两张网卡淘宝入手150,图个省心。
别看40G网卡这么快的速率,其实这已经是被淘汰的产品了,在服务器产品中,用于云计算、超算、数据中心、人工智能等使用场景,主流IB网卡早已经到100G以上,甚至200G、400G的速率。
主板选择
NAS端主板
因为考虑到要使用PCIE 4.0固态做阵列,所以对主板有硬性要求,首先要支持PCIE 4.0,且有两个4.0 M.2槽位,考虑到544FLR这个网卡在这两代最新平台上兼容性,有些平台插在南桥出来的PCIE通道上并不能兼容,所以主板的选择比较慎重。
我们目前手上能有两条PCIe 4.0 M2插槽的主板,符合条件的只有三块,分别是技嘉Z790 GAMING X AX,微星MSI H670战斧导弹,尔英B760M幻翼。
虽然这三块规格上差别很大,但是对于网卡来说,本质上大差不差,除了直连CPU的X16插槽,底下南桥走的PCIE通道都是不足X8的,且不兼容,这真是太难受了。
最后兜兜转转还是用了尔英B760这块,插在直连CPU的X16插槽上。别问为啥不用Z790这些上直连CPU的X16插槽,问就是不兼容(悲)
尔英这块板子虽然性价比非常高,做工也不错,但是这个散热马甲真是有点难受,会挡散热器,无奈只能拆掉了,好在cpu是12100,毫无供电压力。
客户端主板
客户端的平台搭配反而更加让我头疼了,其实要双向实现40G的传输速度,客户端主板的需求其实和NAS端是一样的,都需要双M2插槽,且是4.0通道,这就很难受了。
我就只能退而求其次选择了这块微星的X299 Raider,之前玩四通道内存工作站平台剩下的主板,闲置了好久,这一次再次请出山。
但是可惜的是X299是PCIE 3.0平台,并不能用4.0盘来组阵列了,肯定会对最终实现有所限制的,但是目前也没办法了,要么买张PCIE拆分卡,插满六块3.0固态来组阵列强制堆满速度,要么换主板。
不过最后我们选择的是两块PCIe 3.0的盘组成RAID0,这样也能变相实现。
选择系统
要跑满40G网卡的速度,我们需要用到一项技术——RDMA,
远程直接内存访问(即RDMA)是一种直接内存访问技术,它将数据直接从一台计算机的内存传输到另一台计算机,无需双方操作系统的介入。RDMA最早在Infiniband传输网络上实现,后来业界厂家把RDMA移植到传统Ethernet以太网上,降低了RDMA的使用成本,推动RDMA技术普及。
RDMA本身只是一种概念,具体实现不同厂商都有自己的实现方式,目前市场上能见到的RDMA产品可以分为三类:
1. InfiniBand——“无限带宽”,其诞生的目的是为了取代PCI总线,后续转向到计算机集群互联方向和存储设备的连接,而Mellanox这家以色列芯片公司(现在是被英伟达收购)是目前InfiniBand市场的绝对领导者。
InfiniBand通过交换机在节点之间直接创建一个专用的受保护通道,并通过InfiniBand适配器管理和执行的远程直接内存访问(RDMA)和发送/接收卸载,方便了数据和消息的移动。适配器一端通过PCI Express(PCIe)接口连接到CPU,另一端通过InfiniBand网络端口连接到InfiniBand子网。与其他网络通信协议相比,这提供了明显的优势,包括更高的带宽、更低的延迟和增强的可扩展性。
2. RDMA最早在Infiniband传输网络上实现,后来业界厂家把RDMA移植到传统Ethernet以太网上,降低了RDMA的使用成本,推动RDMA技术普及。在Ethernet以太网上,根据协议栈融合度的差异,分为iWARP和RoCE两种技术,而RoCE又包括RoCEv1和RoCEv2两个版本(RoCEv2的最大改进是支持IP路由)。
RoCE是为了降低IB部署的成本而推出,实际上的核心就是把IB的包架在通用Ethernet上发出去,因此对于RoCE,实际上它的二层包头已经是普通以太网的包头。
(图片来自互联网)
在传统TCP/IP中,来自网卡的数据,先拷贝到核心内存,然后再拷贝到应用存储空间,或从应用空间将数据拷贝到核心内存,再经由网卡发送到Internet。这种I/O操作方式,需要经过核心内存的转换。它增加了数据流传输路径的长度,增加了CPU的负担,也增加了传输延迟。
RDMA其实是充当了一个”没有中间商赚差价”的角色,”像是某二手车交易网”。
落实到系统内功能,考虑到我们是要当作NAS使用,SMB功能是绕不开的。
Windows Server 包含一个称为 SMB 直通的功能,用来支持使用具有远程直接内存存取 (RDMA) 功能的网络适配器。 使用 RDMA 的网络适配器能够全速运行, 延迟时间非常低,CPU 使用量非常少。 对于 Hyper-V 或 Microsoft SQL Server 等工作负载,这让远程文件服务器如同本地存储一样。
在Windows server上SMB直通是自动配置的。
所以NAS端的系统我们就选择Windows server 2022版本,那客户端要选择什么呢?这是个比较难选择的问题。
日常使用Windows server 2022肯定是不合适,那难搞的驱动和繁琐的登录,足够劝退我了,最终还是在X299上部署了Windows 10专业工作站版,Windows专业工作站版支持SMB直通功能(单相直通)。
两端都支持SMB直通,性能上会更好。
实际测试
首先我们跑一下阵列的峰值性能,我很好奇,双PCIe4.0的满速盘组成RAID 0会是怎样恐怖的存在。
双PCIe4.0的阵列固态速度真是牛逼啊!顺序读写速度基本上是单盘的两倍。
其实我们从测试结果可以看出,raid0确实能大大增加顺序读写性能,但是4k性能并不会有明显提升,甚至会有所下降,因为软raid0存储一份数据要拆成两份存到两个盘中,那速度自然是相当快的,但是4K的小文件并不能拆开,同时因为是软raid阵列,CPU还要负责寻址,所以4k性能上不会有太大提升。
首先我们在Windows server端创建好用户,创建好共享,并确保两端都开启SMB直通,然后开始测速,这里总共112G的文件,拷贝到NAS里,实际的速度能有2.3G每秒左右,之前测试的时候最高能跑到3G每秒,实际跑下来并不能完全跑满40G网卡的速度,主要是被X299这套的3.0硬盘限制了发挥,如果再来两条宏碁掠夺者的4.0的盘,跑满40G的局域网应该是没有什么问题的。
总结
这次折腾虽然有点点遗憾,但是也算是完成了全闪40G NAS的组建,传输的速度还是很不错的!
这次也算是第一次接触这种PCIe4.0的大容量固态盘,价格貌似也是大容量固态盘中比较低的,这用来大容量存储还是很不错的选择。
好啦,以上就是本篇文章的全部内容啦~如果对于这台设备还有什么别的想问的,也可以在评论区告诉我,后续也会出一期视频内容~
原创不易 喜欢的小伙伴可以点个赞
让我们下篇文章
再见~
dusttop1
校验提示文案
电器狂友
校验提示文案
巴伐利亚南大王
校验提示文案
kingshi
校验提示文案
adobe1
但。。作为生产力,是不错的
校验提示文案
Timeow
校验提示文案
心有灵犀78
校验提示文案
clamp2nd
校验提示文案
vivot
校验提示文案
白马崖
校验提示文案
疯力发电
校验提示文案
醉强麻者
校验提示文案
smallgg
校验提示文案
Autumnnn
4个T还不如直接插本机,就不用费那么大力气折腾了。
校验提示文案
值友4700683253
校验提示文案
李大申
校验提示文案
雪豆豆豆
校验提示文案
爱折腾的老狐狸
校验提示文案
Jaie-Peng
校验提示文案
值友9869153303
校验提示文案
没腿的板凳
校验提示文案
hhyy520
校验提示文案
Satan023
校验提示文案
习惯是一种解药
校验提示文案
偷偷对你心动
校验提示文案
莺子666
校验提示文案
莫泠晴
校验提示文案
Open_Your_Mind
校验提示文案
值友2482818035
校验提示文案
值友9869153303
校验提示文案
Jaie-Peng
校验提示文案
弗老大
校验提示文案
弗老大
校验提示文案
爱折腾的老狐狸
校验提示文案
雪豆豆豆
校验提示文案
李大申
校验提示文案
值友4700683253
校验提示文案
值友6552497406
校验提示文案
Autumnnn
4个T还不如直接插本机,就不用费那么大力气折腾了。
校验提示文案
smallgg
校验提示文案