NAS 篇一：这是海淘了个交换机? 不! 这是搞了个工程! 小屋万兆网络架设记

有人会说, 家里要万兆干什么? 我家的宽带才100M, 用无线802.11n就足够了BlaBlaBla, 嗯,用网络只考虑上外网internet的, 请直接点浏览器右上角的X. 这篇文章只会让你头疼

起因: 中亚搞了7月PrimeDay

曾几何时, 风风火火的冷门书店与意外惊喜打折店中国亚马逊, 开始陷入退出中国的传言中, 为了反击退出传言, 今年的中亚PrimeDay似乎分外给力, 原本习惯了佛系海淘的我, 也忍不住搞了个PrimeMember来看看. 然后就是一不小心看中了一样东西:

NetgearSwitch黑色8Port(10G)1517.26元亚马逊中国去购买

15xx 不含税是现在的价格, 在7/15 PrimeDay 是这样的

国内历史低价：NETGEAR 美国网件 SX10 Pro Gaming 万兆交换机1067.2元含税直邮10G链路聚合，RGB灯效。亚马逊海外购售价1197.75元，Prime会员下单立减，免掉运费，实付1067.2元含税包邮，这个价可谓年度史低，刚需的值友直接上吧。SX10ProGaming虽说是专为游戏玩家的低延迟体验打造，但支持双10G链路，支持高级QoS、LAg和Multicast等功能，其实3C小小值| 值10 评论24 收藏30去购买

快6折啊! 如果你去了解过这类8口千兆+2口万兆的交换机, 比如ASUS或者NETGEAR自家的桌面型交换机, 就该知道netgear这款本身的定价有多良心! 国内一般看到的ASUS

国行专票|华硕XG-U200810口非网管交换机2个万兆10G电口RJ458千兆即插即用交换器10001999元天猫精选去购买

或者网件

NETGEAR/美国网件GS110MX8口千兆+2口万兆交换机2299元天猫精选去购买

价格都在2千左右, 而且是非网管型的. 而这款Netgear SX10 则是可管理型, 支持QoS, VLAN, 网口聚合还有我不爱但有得是人爱的可定制RGB LED 功能, 价格却只有它们一半! 我还想什么!.

为什么LZ老想着万兆局域网呢? 因为曾经快过就不习惯慢了, LZ以前的家庭网络是以双千兆网络为主干的,日常传数据200MB/s喜滋滋, 具体网络结构可以参考我的旧作:

多!快！好！省！ 我的网络存储时代家庭影音小编注：此篇文章来自#原创新人#活动，成功参与活动将获得额外100金币奖励。详细活动规则，请猛戳此链接！前言：作为长达10年的《双城记》男主角，团聚后入住北京新家，这期间陆陆续续把原来京沪两地的PC/网络/影音设备做了整理合并到新家，到今年7月才算全部完成，下文算是一个记录，扯得比较多比较开：装修，jimmyjin| 赞690 评论671 收藏4k查看详情

但自从家里有了四脚吞金兽, 我被从书房赶了出来, 连带千兆网管交换机, PC等等.....书房改造成了宝宝居,现在我的PC偏安于客厅一角的小书桌, 差点只能用wifi连局域网, 经过我一番折腾勉强靠VLAN利用上了原来光猫宽带的一根预设网线连入家中局域网, 但才110MB/s左右的速度让我很不习惯啊, 可是网线只铺了一根,再飞一根穿过客厅恢复原来的双千兆叠加是不可能的, 那么只能靠提速咯, 于是万兆的选择就顺理成章咯

外观展示

7月底的一天, 圆通送来一个大箱子, 没记得最近用了圆通来网购啊? 不过看到上面ECMS的标我立马明白了, 亚马逊果然收缩得厉害, 连海外购的递送都交给圆通了.拆开就是两个大盒子:

Netgear SX10 Gaming Switch 德亚海外购两件

嗯嗯, 包装一看就是最近流行的电竞风, 嗯嗯, 还自带RGB LED灯, 然鹅我不是太在意这个, 支持10/5/2.5/1G的multiG才是闪瞎我眼的feature!

开箱正面

开箱侧面

开箱背面

开箱, 整体机器呈锲型造型, 周遭查了一便, 没有万兆交换机常见的散热风扇孔, 也就没有噪音, 好评! 背部布局如上图, 除了电源键, 有2个10G multiG端口, 8个千兆端口, 还有一个LED灯光开关键, 这个真的贴心, 不是每个家庭都喜欢有无数小灯不停的BulingBuling的 .

使用感受

接下来是装机时间, 两台SX10, 一台是要进弱电箱的, 太乱, 不拍照了. 一台放在电视柜连接客厅所有网络设备, 包括两个打开了Ai-Mesh的华硕ASUS RT-AC86U.

由于拍摄时间是现在, 我的10G设备已按计划配齐, 所以可以看到两个10G口亮起了红色灯,其他连接上的设备亮起了蓝色灯代表1G(千兆)速度. PowerON LED 是正中的V型灯, 我随便设成了紫色, 在意的同学, 可以自己调整确保整机酷炫!

网件本身提供了一个工具软件让你发现局域网中的网件交换机, 不过我就直接从华硕路由器的设备列表里找到了, 用默认的password登陆进去.

SX10 登录后界面

整个界面还是一目了然的, 最左边目前连接打开的端口数, 中间是机器的IP地址, MAC地址, 固件版本还有一些常用功能(LED??? 黑人问号), 最右是所有10个端口的状态和LED颜色. 可以看到1号端口目前跑在10G, 因为这个端口作为uplink端口, 连接了客厅对面的弱电箱里的SX10交换机.

端口LED灯设定界面

用户可以由此转向Setting菜单的LED setting界面, 可以设定每个端口的LED在有网络活动时的闪动频率, 以及用不同颜色代表MultiG 端口的当前连接速率.

电源LED

也可以设定V型的电源灯的LED色彩, 总之是紧跟电竞RGB风, 酷炫得不行.

VLAN 设定

然鹅除了网速, 我更看重的是交换机的管理功能, 比如VLAN就是我看中的一点. 原先北京联通提供给我的光猫可以做成由我自己的路由器拨号, internet和IPTV分别从两个网口接入，但由于光猫所在弱电箱到我放在客厅另一侧的路由器只有一根网线, 免费的IPTV用不到了. 如今有了VLAN, 我把梅林固件路由器和一台SX10塞进了弱电箱, 靠一根网线, 承载10G局域网和IPTV两个VLAN. 上图可以看到我设定了两个VLAN, #1 Default是我的局域网和internet, #2 IPTV则是走向IPTV机顶盒的专用VLAN.

VLAN端口设置

用简单的Port Based VLAN似乎交换机会把走向IPTV 机顶盒的packet经过#1 端口trunk后向所有端口广播, 所以我选择了802.1Q VLAN模式, 两个SX10交换机都指定#1 端口是trunk uplink端口, 两个VLAN都走, #4端口是IPTV专用, 上行侧的SX10, #4号端口接光猫的IPTV端口, 其他任意千兆端口接梅林固件路由器LAN口; 下行侧的SX10, #4号端口接IPTV机顶盒, 其余端口接所有需要internet的网络设备. 这样保证了从#4到#4是IPTV专用路径

组播设置

最后我还是加了组播设置, IGMP Snooping打开一是防止IPTV的包被错误的广播到internet的VLAN, 二是打开了另一个功能: 即利用 Kodi, VLC等软件, 通过m8u 播放列表, 由internet宽带来直播IPTV

总结(伪)

到了这里, 网件SX10交换机的开箱和设置基本结束, 以千元出头的价格, 拥有2个10G MultiG 端口和8个千兆口,还有丰富的QoS, VLAN, LAG( 我这次没用到)功能. 这在前一年还是连洋垃圾都做不到的, 但现在竟然还附送了RGB LED!!! 真的是感谢中亚的Prime Day! 请你千万要把海外购继续做好做大!

然鹅文章结束了么? 不! 远还没有, 有了万兆交换机只是开始, 为了让所有设备都跑上万兆, 起码不要跑起来像只是用上了双千兆网口叠加而已, LZ这个家庭IT包工头还有大工程要作!

万兆工程

只有万兆交换机是不够的，显然家里的设备最理想状况是都配有万兆网卡， 然而撇开那些高清盒子， IPTV机顶盒之类不提， 我的NUC7， AppleTV4K， 还有PC， 黑裙NAS， LSI 硬raid HTPC， 都只有千兆口。 但是即使我垛了两个网件SX10交换机，能用上的万兆口只有四个， 除去两个交换机互联的上行口（ 即前文中的#1 Uplink口）， 其实只有两台可以连万兆， 所以必须选择： 那些盒子啊， AppleTV4K啊因为只是播放设备，统统接千兆就足够了， 排除; 两个Ai-mesh的AP ， 华硕RT-AC86U 无线为4X4 802.11AC，号称2900M， 实际使用时数据带宽连千兆都填不饱， 也排除。 最后就剩下3台：

1. 台式PC，Z170 MATX,i7 6700 CPU,海康C2000PRO NVMe 512G + 1T Crucial MX300 SATA SSD, 必装万兆卡无疑

   
   

2. 

   黑裙NAS， 目前是B75 ITX板+E3-1265Lv2, 万由NSC400 4盘位机箱。黑裙系统上的3WD红盘RAID5由于一直接千兆网络，我也不知道速度几何， 可以上万兆， 问题是NSC400属于老产品了， 没有PCI槽口

3. 

   Win8+ LSI 9260-8i硬RAID卡的NAS+HTPC两用机，大概长得如上图： 安装的硬RAID5 HGST HC-320 6T*4 持续读写速度550MB/s 左右，绝对需要10G才能喂饱， 问题是， 主板Zotac Z77 ITX 的PCIEX16槽被RAID卡占了， 10G网卡基本是PCIe x4 或者 x8的， 仅剩的一个mini-PCIe 槽是喂不饱的

   
   

台式PC是最简单的， 上ASUS XG-C100C万兆PCIex4 网卡， 新款Aquntia MultiG芯片和网件SX10同宗同源， 确保没有兼容性问题， 狗东贵可以去猫家， 过于小众基本没假货

华硕（ASUS）XG-C100C/CN/低辐射万兆10G网卡RJ45接口999元京东去购买

安装也是极简单，插进PCIeX4槽， 华硕官网下驱动， 接上网线， 搞定！

剩下的两台， 我的决定是黑裙NAS机扩大为8盘位带2 PCIe槽 ， 上Intel 10G网卡， 型号没什么可选的， 因为很多10G网卡芯片黑裙并不支持， 只有Intel的在boot中就有驱动支持。那台win8的.......嗯， 其实我也想上10G， 但是交换机上的口用完了啊， 最关键的， 考虑windows下我用的最多的文件共享协议是Samba， 而SMB3.0从win8开始就支持多网卡速度叠加，而且是单机点对点叠加， 远比网卡Teaming的应用场景常用， 所以我决定还是这台继续用千兆网， 不过是多网卡。 顺便， 原来的Zotac Z77 ITX服役多年， 规格老了， HDMI只能1080P跟不上4K的潮流了， 干脆升级到支持4K@60Hz吧 感觉这万兆工程越做越大了 。

先搞黑裙NAS：

按计划去淘宝抓东西， 几天后快递一件件到达：

选NSC-810A一是因为它有2个PCI扩展槽，可以插万兆网卡， 二是万由都是卧式低矮设计， 我的柜子只放得下万由， 三是它支持MATX板， 万一我下半年AMD Yes！升级台机还能让老主板发挥余热 。 淘汰下来的NSC-400机箱里的电源可以继续用， 所以我只买了空箱。

配黑裙的万兆网卡我买了两， Intel X550-T2和 X540-T2单口万兆网卡各买了一块， 和卖家说好了选一退一， 大湾区的电子配套就是棒！ 因为群晖对万兆网卡支持网上资料少之又少， 已知的就是华硕那块Aquantia芯片的不支持， Intel的支持，但X550和X540是不是都支持？ 度娘啰里啰唆一堆广告没有说出个所以然。只好自己试， 最后发现配合DMS 6.1 boot， 两块都支持。 考虑到PCIeX4的X550功耗更小发热更小， 选了X550留下来。

因为主要硬件系统没换， 装机就略去了， 最后安装完如上图， 随便找了看着靠谱的PCIeX16 软排线转90°， 接上X550 万兆网卡， DSM成功启动， 进入控制面板看到稳稳的10000M 万兆达成！ 另外心疼一下被遗忘的板载双千兆网口。

接下来折腾那台win8 NAS+HTPC

狗东蹲守很久的技嘉 H370N wifi ITX板下手！可惜已经过了7月， 原来的7xx特价回到了999原价。 多说一句为什么买这个板， 这是目前市面上唯二的intel ITX板（另一块是它的上级Z370N wifi ITX）支持我需要的3大要素：

1. 支持核显输出HDMI 2.0， 也就支持4K@60Hz输入家里功放，且不用插显卡；
   

2. 支持双千兆网卡， 决定暂时不插万兆卡后这就很重要了；

3. 支持两个M.2 PCIeX4, 只有1个的话， 就不能上NVMe SSD了， 为啥后面说；

CPU 选了i3-8100T散， 内存就用闲置的海盗船DDR4 3000， 反正又不超频， 低功耗才是目标。 OS 用win10 1903， SSD 是闲置的三星SM951 256G， 照片忘了

最后淘宝送来这个桥接工具： M.2 2280槽转接 PCIeX4槽， 有了她， 可以再插一个双千兆PCIex4 Intel PT9402卡， 这样连上主板板载双千兆， 可以有4千兆。

转接卡接在背面的M.2槽里， 线缆质量还不错， 绕过主板接到最下面第二个PCI槽口位， 没有出问题， 请忽略我为了绝缘乱贴的胶带

装机很无聊，略， 最后的结果是虽然ITX板只有一个PCIeX16， 但靠着从背面的M.2 转接过来PCIeX4， 成功有扩展了一块网卡2个千兆口， 加上RAID卡， 两个PCI槽位100%利用了。

进入Win10， 设备管理器和控制面板都显示4个千兆网口接上， 4个千兆网口并不Teaming， 各有各的IP地址， 符合预期， 这也是SMB 3.0 多通道需要的。

终于3个节点升级完毕， 是到了测试万兆网络真实能力的时候了：

因为10G网速过于生猛（1000MByte/s！）， 超过了所有HDD硬盘单盘的速度， 所以在台式机海康C2000Pro SSD上建了sandbox目录， 在win10 NAS的三星SM951上建了TEST目录， 嗯， 台机上的1T Crucial MX300 SSD不行， SATA 6G 最高也就500MB读写， 会成10G瓶颈。

上面的手机屏摄图是开始正式测试前， 临时起意做的一个实验， 把X550-T2网卡插到了Win10 NAS上，这样和台式机PC都是万兆网卡， 都是NVMe SSD， 没有任何系统瓶颈， 万兆网络直接飙到接近顶峰， 968M/s的速度的确很爽， 不过NVme SSD一般来说我们家用都是用在PC的OS盘， 容量小数据也不多， 能这样传输的场合并不多。 所以我还是转回了日常的使用环境： Win10 NAS 用4千兆网口， 黑裙用X550-T2万兆万卡, 开始正式测试。

测试环境：

首先网络拓扑图镇楼：

测试平台

台机： 测试用目录TEST， 位于海康C2000PRo 512G NVme SSD， 网卡： ASUS XG-C100C 万兆网卡

黑群晖 NAS： 测试目录HDRE， 位于4个WD红盘组成的软RAID5 阵列上， 网卡： Intel X550-T2 万兆网卡

Win10 NAS： 测试目录REMUX和DROP， 均位于由4个HGST HC320 6T 组成的硬RAID5 阵列， RAID卡为LSI 92804i4e， 网卡为4个千兆网卡， 板载Intel i217和i219 ， 扩展PCIex4槽上为Pro1000 X2

测试均在window 网络共享目录下进行， 不考虑Mac（ 因为没有）

如上两图，台式机IP地址是192.168.11.219， Win10 NAS （ 机器名Win10-H370）有4个千兆口也就有4个IP， 在台式机的网络共享上用账户密码登录Win10-H370的共享目录REMUX， 然后打开windows powershell（ 注意用管理员权限）， 输入命令Get-SmbMultiChannelConnection, 可以看到本机单个IP（192.168.11.219）对Win10 NAS 4个IP有4个连接 ，SMB3.0 多通道功能打开了！ 再进行大文件（40G 蓝光 REMUX） 读取至台式机NVMe SSD sandbox目录， 速度达到446MB/s， 从任务管理器可以看到4个网口都以接近满速（9XX Mbits） 在发送， 证明SAMBA多通道发挥威力了， 平均每个网口110MB/s以上的速度， 说明多通道带来的损耗很小。

这里说明下， 共享目录REMUX 位于WIN10 NAS的硬RAID5阵列上，换一个方向， 换一个同在硬RAID5的目录DROP， 进行台式机SSD到Win10 NAS RAID5的写操作， 速度一直很平稳滴维持在440MB/s左右， 说明SAMBA多通道持续读写能力很好， 硬RAID5的持续写操作（我打开了LSI卡的写缓存）也很强大。

接下来测试两个10G网卡， 黑群晖NAS和台式PC的互传速度， 协议还是SAMBA， 只不过现在是单个万兆网卡互联， 可以看到黑裙的4红盘软RAID5 读取速度最高在400MB/s，但有所波动， 有时候降到350MB/s左右

换一个方向，由台式PC向黑裙软RAID5做写操作， 这次的波动就比较大了， 开始缓缓加速， 到370MB/s左右的时候开始稳定但波动滴传输， 基本在280~360MB/s的范围， 考虑到这个RAID5阵列我已经使用了约70%的空间， 而RAID5 写的理论最大持续值也在（盘数N-1）* 单盘速度， 群晖的软RAID5虽然不及硬RAID5稳定， 但已经做得相当不错， 起码比微软家的软RAID5模式“不知道高到哪里去了”！

最后玩得兴起， 突发奇想， 反正台机新买的海康C2000Pro 版SSD够强， 直接一路从Win 10 NAS copy 大文件到C2000PRO SSD上的sandbox， 同时一路从黑裙NAS copy 大文件到台机另一个1T Curcial SSD， 于是形成了大约800MB/s的单向速率， 但奇怪的是， 自从黑裙到台机的copy任务加入， 原本稳定的WIN10 NAS 硬RAID5 到台机C2000PRO的传输就开始波动， 上图还是刚开始波动的时候， 后面波动逐渐加大，有时候速度会直接掉到200MB/S左右。 为什么会这样呢？

因为自己也算专业相关， 就做个猜想，SMB3.0的multichannel，实现了点对点多IP单任务的速度叠加， 也就是多个网口传同一个文件的数据块也可以速度叠加， 这需要SMB协议很好的对齐从不同网口传来的数据块， 因此加入MultiChannel的网卡速度一致很重要， 如果数据块到来的时间先后差异过大， 超过传输缓冲区极限， 就会极大影响传输速度。我自己做过实验， 如果多网卡是一块千兆有线和一块无线网卡之间， 虽然无线网卡是1733Mb级别的， 但实际效果还不如单个千兆有线或者单个无线网卡，原因就是这两个网卡的延迟完全不同！ Win10NAS的4个千兆网口和黑裙NAS万兆网口接在同一个网件SX10交换机上， QoS优先级我是默认每个端口（包括万兆端口）一样。 当只有Win10 NAS向台式PC传送时， 4个千兆网口可以非常有序滴同时向通向台式PC的上行万兆口传送数据， 所以速度稳定。 但当黑裙的万兆口也开始向上行口传送数据时， 一切有点乱套了，就好像原来4个千兆口有序滴并排慢跑着， 突然一个速度快10倍的万兆口开始在中间穿梭来回， 队形就乱了， 台式PC端再也没法维持4个千兆口的数据对齐， 于是速度就波动起来...... 以上的分析， 纯属瞎猜， 你要是看了脑子一团浆糊， 正常，那就忘了吧......

测试完后我要补充两点：

1. 4千兆网口叠加， 只对SAMBA有效，就是说， 如果你对着Win10 NAS做FTP， 对不起， 只有一个千兆口的速度

2. 黑群其实也可以hack成支持SAMBA 网口速度叠加 ，但我试下来不稳定， 效果也远不如单个万兆。 这也是我让黑裙用万兆口的原因

总结(真)

网件SX10万兆交换机在千元价位上同时实现万兆交换和可管理性， 真的性价比很高， 尤其是有了中亚海外购！它最大的贡献，是把我拖入了万兆网络的坑， 害我升级了一堆设备来匹配万兆网络。 话说回来，如今家里的四脚吞金兽正是惹人爱的时候， 家里我一部泥坑D850， 老婆一部大法A7Rm2，有机会就围着他卡擦卡擦， 每次产生的RAW文件都以几十G记，更不用说日常的高清下载等， 万兆网络还是大大加快了备份过程的

当然网件SX10更大的坑来自它的缺点: 万兆口只有两个， 我的测试已经表明想要更高内网速度，多千兆网口叠加的应用有限制。搞得我时常的长草有更多万兆口的交换机， 比如......

QNAP威联通万兆网络交换机QSW-804-4C8口配件10GbE3380元天猫精选去购买

但愿我不要入坑！