600大洋组建家用10Gb光网络

2020-04-30 19:33:18 28点赞 187收藏 35评论

小编注:此篇文章来自#原创新人#激励计划,新人发文前三篇文章,篇篇额外奖励50金币。参加超级新人计划活动,新人发文即可瓜分10万金币周边好礼达标就有,邀新任务奖励无上限点击查看活动详情


自从入了unraid的坑,各种服务器网络设备就没少买。。 因为最近出二手(gen8和mbp),备份数据的时候这个千兆网实在不够用。几个T的数据拷来拷去太浪费时间了。于是心血来潮开始研究万兆网。

首先要考虑的就是接口问题。一般常见的万兆网络有两种接口:RJ45和SFP+。家用来说这两种口都没啥区别(非要说的话sfp省电 sfp 1w 铜芯双绞线大概4-5w),但是SFP+接口有个优势,那就是有很多淘汰的工业垃圾可以捡。价格也是十分便宜。网卡的话比如单口cx311带转接板的垃圾大船只要80块钱一张,比起电口动不动两三百的价格 还是蛮香的。交换机的话其实都差不多,不管是电口还是SFP,万兆路由的价格都在四位数以上。但是呢,我有几台7*24的服务器,直接插上几块网卡上软路由就行了,省了一大笔买交换机的钱。本着能用就行的原则,毅然上了SFP+的车。

说完价格接着说这个卡,他标签上写的cx311,但实际上是cx341。从外观上也能看出这个标签是后来贴上去的。毕竟人家以色列的公司凭啥给你印个中文标签。。。至于为什么要贴311,猜测可能是前一段时间cx311卖的比较多,也比较贵,贴个311可能会卖的比较好卖。


600大洋组建家用10Gb光网络

驱动方面,官网上基本都齐了,windows,linux,esxi。 win10自带驱动,可以不装官方驱动。centos7也自带了4.x的驱动,不装也没问题。


600大洋组建家用10Gb光网络



另外这张卡支持RDMA。不过我暂时用不上这个特性,而且RoCE似乎需要交换机硬件支持,等有时间再研究了。

操作系统方面,因为我的服务器主要运行unraid,去官网看了一下unraid已经内置了connect x3的以太网驱动,所以这方面并不需要担心。


事前准备

网卡cx341a 单口x2 (单价80) = 160

网卡cx341a diy双口x2 (单价105) = 210 插到服务器上当交换机用。

SFP+模块一体光纤 7m x2(单价60 邮费15) = 135

服务器x1 电脑x2 记住一定要有pcie3.0 x4(链接速度需要至少x2)以上接口。


组网

多网卡直通到Unraid的VM中,装centos 7,配置网桥。

直通Unraid就不多说了,去system devices里面看一下pci设备的id,然后加到启动项的pci-stub.ids里面就行了。记得重启。

这里注意:这两张网卡有bug。详情请看'坑'一节


600大洋组建家用10Gb光网络


配置网桥详细说一下。linux这个网桥就是一个二层交换机的功能,网上很多介绍,我不专业,就不多讲了。网络配置的话centos 7有个很好的GUI工具,nmtui。我们就用这个搞。


1. 首先找到我们的网卡。用ethtool -i {网络接口的名称} 可以看到接口使用的驱动名字。驱动名字是mlx4_en的就是我们的mellanox 网卡。把两个接口的名字记下来。我这里两个接口分别是enp4s0和enp4s0d1


600大洋组建家用10Gb光网络


2. 进入nmtui,进入编辑链接。先编辑eth0,关闭自动连接。


600大洋组建家用10Gb光网络


3. 创建网桥,把刚刚记下来的两张网卡和unraid的虚拟连接加入一起加入网桥。我这里unraid的虚拟连接是eth0。


600大洋组建家用10Gb光网络



600大洋组建家用10Gb光网络



4. 取消eth0,enp4s0,enp4s0d1的自动连接。保持nm-bridge自动链接选中。

5. 保存并退出,然后输入service network restart 重启网络服务。不出意外应该可以进行正常链接了。


测试

可以用共享文件夹测试,但是注意两端都要使用固态硬盘才行。

这里使用iperf3进行测试。


600大洋组建家用10Gb光网络



600大洋组建家用10Gb光网络


注意iperf3测试对于接收端来说压力比较大。单stream有时候跑不出理想速度。所以这里用 P 5 参数做测试。可以看到上下行都达到了10Gb,理想状态了。


1. 两张mellanox卡插到unraid里面可能只会识别出一张。直通一张到VM之后另外一张就会出现。大概是bug?不太清楚,也可能是网卡或者驱动有问题。

2. 注意:pcie接口旁边又电容啊 或者其他比较高的东西,这个卡是差不进去的 如图。 反正我的r630是翻车了,要么换个矮点的电容,要么换个卡,要么买转接线(比网卡还贵_(:з)∠)_)。最后找了个20块的转接线。反正网卡速度也没那么高,应该扛得住。

3. Dell r630 不支持这个卡。不用费劲了。目测还得花两百换x520或者博通的957711。

4. 说个跟这个卡没关系的坑,3500x就24条lane,一个显卡占了16条,根本不够用。。。。我折腾了好几天看为什么跑不到10Gbe 结果因为分到了pcie 2.0 x2 通道上。。。

5. Most SFP+ slots are backward compatible with SFP modules to run at 1G speed. However, the SFP slots on gigabit switch cannot support the 10G speed required by SFP+ modules.


总结

前前后后折腾了快一个月时间。谷歌百度了一大堆兼容性问题才敢开始动手。成本上主要是省去了一个万兆光纤交换机。这玩意死贵。用这个方法组网可以省去这个交换机,成本就降了好多。


展开 收起

Tenda 腾达 U9 650M免驱版 双频USB无线网卡

Tenda 腾达 U9 650M免驱版 双频USB无线网卡

45.9元起

MERCURY 水星网络 UD13H 1300M千兆双频USB无线网卡 免驱版

MERCURY 水星网络 UD13H 1300M千兆双频USB无线网卡 免驱版

59.9元起

TP-LINK 普联 TL-WN726N免驱版 150M外置天线USB无线网卡

TP-LINK 普联 TL-WN726N免驱版 150M外置天线USB无线网卡

44.91元起

水星(MERCURY)MW150US(免驱版) USB无线网卡随身wifi接收器台式机笔记本通用智能自动安装

水星(MERCURY)MW150US(免驱版) USB无线网卡随身wifi接收器台式机笔记本通用智能自动安装

18.6元起

水星(MERCURY)MW310UH免驱版 300M USB无线网卡 随身WiFi接收器 台式机笔记本通用

水星(MERCURY)MW310UH免驱版 300M USB无线网卡 随身WiFi接收器 台式机笔记本通用

18元起

腾达U10 免驱650M USB无线网卡 台式机电脑笔记本通用 5g双频 随身WiFi网络无线接收器 发射器 自营

腾达U10 免驱650M USB无线网卡 台式机电脑笔记本通用 5g双频 随身WiFi网络无线接收器 发射器 自营

54元起

TP-LINK TL-WN725N免驱版 迷你USB无线网卡mini 笔记本台式机通用随身wifi接收器 智能安装

TP-LINK TL-WN725N免驱版 迷你USB无线网卡mini 笔记本台式机通用随身wifi接收器 智能安装

46元起

腾达(Tenda)W311MI免驱版 USB无线网卡 随身WiFi接收器 台式机笔记本通用 扩展器

腾达(Tenda)W311MI免驱版 USB无线网卡 随身WiFi接收器 台式机笔记本通用 扩展器

20元起

Tenda 腾达 U2免驱版 USB无线网卡

Tenda 腾达 U2免驱版 USB无线网卡

23.9元起

MERCURY 水星网络 UD6 650M双频USB无线网卡 免驱版

MERCURY 水星网络 UD6 650M双频USB无线网卡 免驱版

45元起

MERCURY 水星网络 MW150UH 无线USB网卡 免驱版

MERCURY 水星网络 MW150UH 无线USB网卡 免驱版

19元起

腾达(Tenda)U6免驱版 300M USB无线网卡 随身WiFi接收器 台式机笔记本通用 扩展器

腾达(Tenda)U6免驱版 300M USB无线网卡 随身WiFi接收器 台式机笔记本通用 扩展器

31.67元起

TP-LINK TL-WN823N免驱版 300M USB无线网卡 笔记本台式机通用随身wifi接收器 智能安装

TP-LINK TL-WN823N免驱版 300M USB无线网卡 笔记本台式机通用随身wifi接收器 智能安装

59.9元起

COMFAST AX200-M英特尔WIFI6笔记本内置无线网卡3000兆带蓝牙5.0

COMFAST AX200-M英特尔WIFI6笔记本内置无线网卡3000兆带蓝牙5.0

89元起

Tenda 腾达 U12 1300M USB无线网卡

Tenda 腾达 U12 1300M USB无线网卡

74元起

TP-LINK TL-WN826N免驱版USB无线网卡 300M高速智能自动安装随身wifi接收器

TP-LINK TL-WN826N免驱版USB无线网卡 300M高速智能自动安装随身wifi接收器

74.9元起
35评论

发表评论请 登录
  • 最新
  • 最热
评论举报

请选择举报理由

相关好价推荐
查看更多好价

相关文章推荐

更多精彩文章
更多精彩文章
天猫超级红包
距结束::
天猫双11超级红包 每天领3次 金额可叠加
红包按钮
最新文章 热门文章
187
扫一下,分享更方便,购买更轻松