来个简单的40G内网 硬件篇

折腾服务器快有大半年了，想写个总结，就有了该文章，由于时间和精力的问题，我把文章拆分多个部分来写，涉及到领域蛮广泛，网络拓扑，ESXI，储存方案，CDN加速，VSAN，炼丹巴拉巴拉巴拉一大堆的。这里只写硬件相关的。

头图不完整，这里再放一遍供大家欣赏

前提说明，本人是个学生党，口袋没多少钱，买不起全新的，只能捡垃圾度日子。都是学生党谁也别看不起谁，谷歌刚成立还是学生（博士）买了一堆二手设备来提供服务的，比我还凌乱，看的我强迫症都犯了。本片文章是给有兴趣的人看，也欢迎来讨论。

这个故事要从白嫖服务器说起。

某天我看朋友圈有人白送服务器，一看是dell的R720XD服务器，火速赶去上门提服务器了，顺路还收了一台R720服务器，也是上门自提的，这样我回来就有两台服务器了，嗯开局两台服务器。这里再次非常感谢送我服务器的人！

然后买了一个1.2米高的机柜，把服务器都塞进去。这是服务器集群的开始的样子，网络设备只有上面的五口千兆交换机。现在回过来看真够寒酸。

接下来就是看交换机了，万兆交换机肯定是基本操作。逛了淘宝半天相中一台LB6M 24口光口万兆交换机，900买的。这玩意噪音确实大，都比服务器还大，改风扇后好些了。后面TP出了一个万兆交换机，那个更合适。买早了。

万兆还是非常推荐光口的，首先万兆光口网卡就很便宜，我之前文章里有介绍过。感兴趣的人可以去看看。模块的啥十几块钱，光纤也贵不到哪去，我记得几块钱2m吧，而且不会有什么干扰，走线也比六类线甚至五类线方便。

这里再多嘴一下，ZDM可能大部分人觉得万兆用不上也没必要，千兆就够用，我这里表示理解并认同。但是对于我来说，用过了就回不去了，有多大提升呢？可能跟你们家电脑从机械盘到固态硬盘的变化一样大吧，真的回不去了。

后来折腾着两个服务器我发现一旦有重要点的玩意，特别是软路由。折腾过程中可能断电断网，肯定对其他人体验不友好。所以又掏腰包买了一台1U 服务器R420，里面配置好基本不怎么动，也就是我现在的软路由。这样我就可以尽情折腾另外两台服务器了。这下机柜里有三台服务器了。

后来还给机柜旁边打个孔上显示器。可惜后来摔坏了。

后来我路过小伙伴公司的机房，发现他们服务器也是dell的，型号是R640。我看那个服务器的前面板很好看，大家可以看看图。

总之我个人感觉非常酷炫，所以我跟公司的IT小哥聊了聊 让他们把前面板借我玩玩一段时间。拿回去我发现卡扣都不一样，不过这问题难不倒我这理工生，掏出皮尺就是一顿量（不好意思中间乱入吃的了）

量好了就是梭哈，建模，3D打印。成功兼容

甚至还能上锁，防止熊孩子乱动。

剩下来就非常简单了，淘宝上买前面板就行，不贵，四十块钱一个。然后发现这个标志能拆，顺手做了个爱国的标志，问题是找不到大一点的爱国标志，有点郁闷。

某天在小黄鱼里逛着，注意到Mellanox有个56G/40G 交换机 型号是SX6012，卖500元，根据卖家描述是pcie启动不了，我看了下报错感觉有戏。故买下来，准备上串口刷固件，结果被打脸了，真的启动不了。拆开仔细看了下，看不出啥问题，除了少了一个电源。（我到现在都疑惑为啥少了一个电源，虽然不影响使用，问了卖家也不回我）

所以我把交换机寄给大佬了，让他帮我诊断诊断，最后发现上面一个fpga芯片坏了，换一个就好。灵车搏一搏变跑车。HP的544+flr网卡，张大妈应该有人介绍过了，这里大概说下，40G网卡卖80元，还是双口的，核心是CX3PRO，香炸裂。据说可以开56G，得要Mellanox牌子的QSFP的模块或者DAC线，看价格直接打扰，40G 又不是不能用。看过我之前的文章就知道在这里我就要发挥传统艺能了。

设计没考虑到插槽的问题，旁边的NO.1前面的China字样被挡住了，我还是要再说一遍中国牛逼！这里的挡板用的3D打印的，用来测试的，后面给换成钣金件了。更魔幻的是在Dell 的bios里能看到HP这个网卡，进去还能看到HPE特有的功能。

期间发现千兆口有点不够用，LB6M那个上面才6口千兆电口，我小房间内不可能每个设备都能插上万兆网卡，本来从某某角落捡来一个带有光口的千兆交换机，光口是SFP，寻思着这玩意应该能向下兼容，万兆变千兆。结果插上去我就傻眼了，根本就不认。后来一查才发现LB6M这个交换机不支持光口千兆。所以看中了一台中兴的交换机，型号为5228F，带有四口万兆光口，24口电口的交换机，五百块钱买的，发现这交换机真香，一般家庭用这个绝对够用！除了开机巨慢，没其他任何缺点了。PS：有人说某些老机型批次有点问题，我查了下我这是新机型的批次。估计是运气好吧

后来嘛，手又痒了又买个服务器，仍旧是dell 的R720XD，避免不了又一次的折腾。。。顺便给服务器晒晒太阳。

最近要做炼丹相关的东西，小黄鱼购入二手特斯拉K80计算卡，24GB超大显存。被我塞进其中一台服务器了。后面有空会介绍。

顺便说一下HP这个网卡其实还有些别的超便宜的网卡，比如下面的20块钱4口千兆网卡，型号331flr，中间下面的80元双口电口万兆网卡561flr，好像是X540的方案。转接板和挡板基本完美支持了。这里只做推荐，我又不是卖货的。感兴趣自行搜索，关键词已经给你了。

通过上面介绍大家就可以很清楚我服务器里面有什么东西了。基本是一堆硬盘，一堆网卡，和一个计算卡。

可能有人要问了硬盘用的啥，这还不简单吗，直接淘宝搜3T SAS 价格倒序买最便宜的。差不多是150块钱 3T，闲鱼上也有90元2T的硬盘，听说是拆修盘。我入了两块做PT盘感觉不错。这里强烈建议大家一定要多做备份！硬件炸了换一个就完了，数据丢了就真没了。我做了四个备份。二手捡来的多少有点不稳定，但是便宜！要稳定的又要便宜又要性能好，估计梦里有。如果真的有的话一定要叫上我！

到了这里可能有人疑惑了，问我这个应该用不到40G内网吧。我正面回复一下，是的，确实用不上。在体验过千兆升级万兆后的快感，本以为从万兆升级到40G也能很爽，折腾下来发现很多机器跑不动，得要Linux才能飙到40G，win基本别想了，确实没啥必要（虽然40G口可以一分四 万兆接口能直接代替原有万兆交换机，但是最近太忙了没怎么动网络结构了）。但是你需要注意的是我这是500收到的40G交换机，总计花费不到一千，搭建成本比万兆还低。这是另外一回事了，你是抄不了我的作业。而且我也不会推荐你花大价钱上40G内网。其实万兆就非常够用了，我也用的很开心。40G的话估计能对外面吹逼说俺服务器集群内网速度比天河一号还快？ PS：天河一号使用QDR 32Gbps互联。

其实万兆也有跑不动的情况，如下图，下载赛博朋克2077实测3700X这个U速度只能230MB/s，下载别的游戏 古墓丽影可以跑到500MB/s，盲猜每个游戏的压缩机制不一样，需要更换CPU来提升网速（没钱）

下一篇会讲到其他部分，NAS的什么只是冰山一角而已。服务器集群能做的事情远比你想象还多，比如当电暖气，冬天必备神器。先放个预告

挑几个问题回答 Q&A

Q：有什么用？

学习用

Q：功耗多大？噪音如何？

没实际测，看IDRAC里面是200W左右，算下来整个机柜有六台电脑加上一堆交换机大概1KW左右吧了。还不如我家一台小米电暖气片，那玩意2200W大功率。噪音方面文章也提到了，部分交换机需要改下风扇。服务器的啥直接用IPMI控制风扇转速，机柜背后噪音75dB，但是放的距离够远，到我这噪音也就55dB。

Q：收二手的需要注意些什么？稳定性怎么样？

建议捡垃圾之前先了解下硬件，多逛官网，了解一下型号代码是干啥啥用的。有一定的了解再下手就行。至于稳定性，我个人觉得是玄学问题。全新的好处就是有售后，能很快给你解决问题。二手的要靠自己去摸索和排查问题了。再次说明，想要图省事，只能多花钱。

Q：小白看不懂怎么办

这次只是分享一下经验，后面我有空会出详细点的教程。让更多人感受到科技的美好（跟我一起折腾）。