600大洋组建家用10Gb光网络

自从入了unraid的坑，各种服务器网络设备就没少买。。 因为最近出二手（gen8和mbp），备份数据的时候这个千兆网实在不够用。几个T的数据拷来拷去太浪费时间了。于是心血来潮开始研究万兆网。

首先要考虑的就是接口问题。一般常见的万兆网络有两种接口：RJ45和SFP+。家用来说这两种口都没啥区别（非要说的话sfp省电 sfp 1w 铜芯双绞线大概4-5w），但是SFP+接口有个优势，那就是有很多淘汰的工业垃圾可以捡。价格也是十分便宜。网卡的话比如单口cx311带转接板的垃圾大船只要80块钱一张，比起电口动不动两三百的价格 还是蛮香的。交换机的话其实都差不多，不管是电口还是SFP，万兆路由的价格都在四位数以上。但是呢，我有几台7*24的服务器，直接插上几块网卡上软路由就行了，省了一大笔买交换机的钱。本着能用就行的原则，毅然上了SFP+的车。

说完价格接着说这个卡，他标签上写的cx311，但实际上是cx341。从外观上也能看出这个标签是后来贴上去的。毕竟人家以色列的公司凭啥给你印个中文标签。。。至于为什么要贴311，猜测可能是前一段时间cx311卖的比较多，也比较贵，贴个311可能会卖的比较好卖。

驱动方面，官网上基本都齐了，windows，linux，esxi。 win10自带驱动，可以不装官方驱动。centos7也自带了4.x的驱动，不装也没问题。

另外这张卡支持RDMA。不过我暂时用不上这个特性，而且RoCE似乎需要交换机硬件支持，等有时间再研究了。

操作系统方面，因为我的服务器主要运行unraid，去官网看了一下unraid已经内置了connect x3的以太网驱动，所以这方面并不需要担心。

事前准备

网卡cx341a 单口x2 （单价80） = 160

网卡cx341a diy双口x2 （单价105） = 210 插到服务器上当交换机用。

SFP+模块一体光纤 7m x2（单价60 邮费15） = 135

服务器x1 电脑x2 记住一定要有pcie3.0 x4(链接速度需要至少x2)以上接口。

组网

多网卡直通到Unraid的VM中，装centos 7，配置网桥。

直通Unraid就不多说了，去system devices里面看一下pci设备的id，然后加到启动项的pci-stub.ids里面就行了。记得重启。

这里注意：这两张网卡有bug。详情请看'坑'一节

配置网桥详细说一下。linux这个网桥就是一个二层交换机的功能，网上很多介绍，我不专业，就不多讲了。网络配置的话centos 7有个很好的GUI工具,nmtui。我们就用这个搞。

1. 首先找到我们的网卡。用ethtool -i {网络接口的名称} 可以看到接口使用的驱动名字。驱动名字是mlx4_en的就是我们的mellanox 网卡。把两个接口的名字记下来。我这里两个接口分别是enp4s0和enp4s0d1

2. 进入nmtui，进入编辑链接。先编辑eth0，关闭自动连接。

3. 创建网桥，把刚刚记下来的两张网卡和unraid的虚拟连接加入一起加入网桥。我这里unraid的虚拟连接是eth0。

4. 取消eth0,enp4s0,enp4s0d1的自动连接。保持nm-bridge自动链接选中。

5. 保存并退出，然后输入service network restart 重启网络服务。不出意外应该可以进行正常链接了。

测试

可以用共享文件夹测试，但是注意两端都要使用固态硬盘才行。

这里使用iperf3进行测试。

注意iperf3测试对于接收端来说压力比较大。单stream有时候跑不出理想速度。所以这里用 P 5 参数做测试。可以看到上下行都达到了10Gb，理想状态了。

坑

1. 两张mellanox卡插到unraid里面可能只会识别出一张。直通一张到VM之后另外一张就会出现。大概是bug？不太清楚，也可能是网卡或者驱动有问题。

2. 注意：pcie接口旁边又电容啊 或者其他比较高的东西，这个卡是差不进去的 如图。 反正我的r630是翻车了，要么换个矮点的电容，要么换个卡，要么买转接线（比网卡还贵_(:з)∠)_）。最后找了个20块的转接线。反正网卡速度也没那么高，应该扛得住。

3. Dell r630 不支持这个卡。不用费劲了。目测还得花两百换x520或者博通的957711。

4. 说个跟这个卡没关系的坑，3500x就24条lane，一个显卡占了16条，根本不够用。。。。我折腾了好几天看为什么跑不到10Gbe 结果因为分到了pcie 2.0 x2 通道上。。。

5. Most SFP+ slots are backward compatible with SFP modules to run at 1G speed. However, the SFP slots on gigabit switch cannot support the 10G speed required by SFP+ modules.

总结

前前后后折腾了快一个月时间。谷歌百度了一大堆兼容性问题才敢开始动手。成本上主要是省去了一个万兆光纤交换机。这玩意死贵。用这个方法组网可以省去这个交换机，成本就降了好多。