浅谈垃圾佬的家庭网络 (家里开IDC系列)

话说在前头，每个人对家庭网络的需求是不一样的，合适自己最好。我也不是什么专业玩家，纯属兴趣爱好，本篇文章分享为主。下面为本人的观点，难免会有些认知误区，烦请大佬指点下，但是拒绝杠精。 你杠你对。

有些大型任务，单机性能是很难胜任，需要多机一起跑任务。 刚才也提到硬盘速度很快，因此多台机器之间互联速度对于整体集群性能发挥至关重要。Top 500的超算绝大部分是靠机器堆起来的，所以内部高速互联（网络）是不可缺的一个环节。本人也是照着超算的思路在家搭建这么一套的东西，和真正的超算差太远了(毕竟凝聚了无数人的智慧，非常先进)。 本人也是在摸索，觉得非常有意思就把过程分享下。

交换机

先从交换机说吧，网络中最重要的一部分。就跟字面意思，能让你在内网从A电脑传数据到B电脑，就这么简单。A电脑和B电脑很大程度上取决于端口速度和中间链接速度。你端口速度是万兆并且能跑到万兆水平，中间是千兆交换机的话，那么你整个传输过程中就千兆水平（木桶效应）。因此有一个高速率的交换机是很好选择，它甚至能保证你未来几年使用不落伍。你可以把交换机类比道路，再想象一下中国为什么是基建狂魔 (这样做能给国家带来什么好处)。你就能明白我为什么会疯狂升级交换机。一台超高吞吐量的交换机在部分人手上非常有价值不代表在你手上就一定有价值！不要再问类似 "有用吗" 的话！

你可以去Ethernet Roadmap看看自己有没有落伍。目前头部IDC 核心交换机应该是400G的。看似和普通人很遥远，但其实你生活日常上网都少不了IDC的作用。

记得去年五月份，我把NAS升级到10G，并买了一台CRS305四口万兆小交换机。本以为能够我用好长好长时间。事实证明我确实低估了需求的变化。

结果是不到两年时间，我把千兆升级到万兆交换机 (CRS305 + LB6M) 升1级到12口40G(SX6012)再升级到36口40G(SX6036)， 最近又买32口100G (SN2700)。 方便大家理解是这样: 1000M -> 10G -> 40G/56G -> 100G 。 得益于强大的交换机，我在部署和转移集群还有使用过程中几乎没掉过链子 (这里悄咪咪说下俺的集群很猛的)。目前网卡基本用的是Mellanox CX3系列。分别是CX341和HP 544+, 本垃圾佬的最爱，几乎任何系统都能免驱运行 。 折腾了两年仍旧乐不知疲。上面大部分设备是通过二手交易网站购买的，全新我买不起。

我目前在用的交换机大部分是Mellanox的，默认带有MLNX-OS，带WEB管理。迄今我见过配置最便利的交换机，Vlan的什么在网页上点点点就好了，功耗也非常漂亮，即使SX60XX系列用的是上古PowerPC处理器 (性能拉跨还热炸) 也能把功耗控制在合理范围内，风扇控制到低转速噪音还能接受，非常合适家用。我吹爆。听说ubnt交换机（网络设备）也非常好用，确实，我看那个web管理页面还有那个小屏幕很酷炫。我看了闲鱼价格直接打扰了，土豪请随意。反正在我眼里ubnt简直就是网络界的奢侈品。

以下是我目前的交换机，最上面是SX6012，第二层是SX6036，第三层是SN2700。都是mellanox家的。最下面是朋友的24盘全NVME的2U服务器，跟本片文章无关忽视就行。

简单介绍下，SN2700是一台32口 100G 以太网交换机， Mellanox好像从这代开始区分ETH IB两种交换机，开头分别是SN和SB，想入坑的小伙伴们需要注意了。之前SX6012 & SX6036都是同时支持ETH IB两种模式，虽然不咋用IB但感觉略有点遗憾。但总之来说是一台令我兴奋的电子设备之一。它代表着未来 (虽然是被某某数据中心淘汰下来的设备，有点怀疑是倒闭的，机器是20年的)。而且Mellanox交换机特别舒服的一点是能向下兼容很多速率，从下图主页上可以看到：Supported speeds: 1G 10G 25G40G 50G 56G 100G，基本把100G以下速率全支持了，2.5G给我爬。 也就是说我现在能完全放心把SN2700替换掉我现有的SX6036交换机，完全支撑我目前的集群结构并且给未来升级100G做基础 (虽然少了四个端口，不过打算把一些老旧设备淘汰掉)。

还是说下我家目前大致网络结构把，为了方便理解我还是上图，集群那边目前用的是SX6036 36口交换机做核心交换机，上面接路由器，下面带一大堆机器跑服务，还有个千兆交换机是5228F用来接服务器的IPMI。桌面上是 SX6012 12口交换机 + CRS305 4口万兆交换机(聊胜于无)，来满足本人上网需求。集群到我桌面有一段距离，所以核心交换机和桌面交换机中间拉了两条30米MPO光纤互联。

集群那边核心交换机是SX6036，用了一大半的接口。其中一部分接口做一份四口万兆。

下图是我桌面上面的交换机，都是之前淘汰下来的 ，同时这图也足够说明我这光纤覆盖达到比较恐怖的水平。这里说一个比较有趣的小玩意。蓝色那个小盒子叫光纤小模块塑料盒子，闲鱼上50买的，你买过来可以当交换机的DLC，SX60XX交换机是可以支持拆分的，比如100G拆四个25G，40G拆四个10G，用的比较多。你只需要买一根MPO 和一个光模块接这个小盒子上，就可以获得真正意义上0功耗0噪音的四口万兆口交换机，还带40G/100G上联。秒杀CRS305。这两台交换机我都不打算卖了，分别是我第一台万兆交换机和40G交换机，对我来说意义非凡。

免得有部分人觉得我上这么好交换机没意义，我放一台全闪储存机的SMB Server监控，单位Bytes/sec。你们可以自己算算速度多少。目前绝大部分家用级别网络设备都带不动我家的小型集群。我之前文章中讲过这个高性能储存机器的细节。有兴趣的可以去看看。

其实100G的话，有其他更便宜的交换机选择。比如Celestica DX010和Edge core的100G灵车交换机。但是听说系统用的是SONiC

SONiC 是一个OCP项目，目的是帮助大型云服务商快速部署大规模交换机集群。看到这里就明白和家用无缘。每个厂家提供的支持是不一样的。如果你是linux高手并且熟知网络知识，你可以挑战一下把专门为云服务器设计的交换机来使用。

路由器

路由器可能大家都比较熟悉了，网上相关路由器教程文章满天飞，我也不多说什么了，直接上配置。

核心思想还是低成本，收的二手HPE 360 Gen 9做软路由, 是一台双路E5 V3/V4 的 1U 服务器。价格极其低廉同时是一台正规服务器，可靠性有保障，开机自检超久的。准系统600元买的加上其他乱七八糟的差不多一千多搞定，上面自带四口千兆口，塞了544+ 双口 40G和CX341 双口 10G 网卡进去，并且预留pcie3.0 x16接口给未来100G网卡用，如果配齐第二个riser卡还能再塞个25G网卡进去，但是我不会考虑25G。 下面直接上系统配置图。物理机装爱快做软路由性能相当不错，而且有虚拟机，我把部分比较重要且不吃性能的服务跑在软路由上。

别跟我扯什么软路由不可靠之类的，小包性能巴拉巴拉。也不去看看硬路由价格上天，我硬性要求就是带40G (甚至100G) 的接口同时能做流控。能做到这种配置的硬路由价格都够买十台软路由了吧？我又不是真开IDC的，家里跑的玩意不至于重要到7 * 24小时都不能停下来那种。弄两台软路由做热备就很够用 (实际上我就是这么做的，两台配置一模一样的服务器做软路由，不过是一主一冷备)。至于小包性能，我觉得你可能需要同时玩几十个游戏才能感觉出瓶颈。而且我home就三人而已。这个需求不高。软路由上带有 40G/100G 接口是硬需求。等什么时候硬路由便宜了再说。我只看价格。

我直接说结论：硬路由下限很低，50块钱就可以买到7621的路由器，确实是性价比神器，我也买了一台。但是上限也非常高，今年移动招标里面高性能路由器一台九千万人民币。有正常人会自己买这种逆天硬路由器吗？？？？？而且人家卖不卖你还是两说。不考虑价格肯定硬路由牛逼。软路由器为啥会出现你自己琢磨去。

顺便提一句话X99 跑TNSR做软路由的话，跑512Byte 不加密可以跑到100G速度的(DPDK), 很可惜这路由系统只能在cli上配置，对于我来说使用有点难度。同时我正在寻找能跑到100G的软路由可行方案。如果大家知道的话欢迎在评论中留言或者PM我，我会非常感兴趣。

WIFI

至于无线，我就很佛系。用的是路边摊买的TP路由器做AP (就一个)，便宜 + 天线多就行，一百多买的已经稳定用了快一年半了。移动设备基本就手机笔记本，绝大部分都是能上网就行。实测覆盖整个房间没啥问题。 能用有线的就用有线。所以基本不考虑mesh等等牛神马鬼玩意，下次升级也是换信号更强的路由器做AP。移动设备就那丁点性能不够看更没必要给高宽带。够看小视频就行，反正我不care (投入和带来的收益不成正比）

后续有需求的话我可能会考虑换Tplink新推出的盛世路由器做AP。 非常高端的一台路由器，同时B站上也有人拿这个和华为最顶级的AP做对比（家用环境）。

其他

家里开IDC的好处就是我可以主宰一切，各种灵魂走线。想换啥设备就换啥设备，想玩啥花样就玩啥花样，想用啥系统就用啥系统，只有我说了算，没人能管得了我。所以我基本不怎么画网络拓扑图 (虽然前期尝试画过，但是网络结构一天一变，今天升级这个明天升级哪个，后来索性不画了，拿小本本记IP就行了）

骚操作比如四口56G口汇聚一起 叠叠乐

给小白的建议

扯了这么多就随便说点建议的话吧。不管怎么说我也是从千兆开始的一路打怪升级到100G，我想我在这方面还是有点发言权。

你看完上面就明白我每次网络升级基本都要大改。先说千兆升级万兆这过程把，我是从电口千兆直接升级到光纤万兆，我很清楚电口是有2.5G 和万兆，不用换线就可以轻松实现。但是电口对我来说局限性太大，所以我就直接换光纤，换来翻倍的性能和超高性价比，没有任何妥协。万兆升级到40G也是同理，光纤由LC直接换成MPO，只为战未来。所以这就是我为什么直接跳过2.5G 和25G的原因。

这里补一个知识点给小白看。 就先拿多模来说，标准万兆光口接口是SFP+，用的是LC光纤，上面有两根纤，是一对收发。然后40G用的接口是QSFP，用的是MPO光纤，内部由八根纤组成一根MPO光纤，是四对收发。你搞清这个关系就知道40G其实是由四根10G组合起来的，不明白就看下图MPO一份四LC，左边是MPO接头，右边LC接头。前者要四对收发，后者要一对收发。所以你要从万兆升级到40G，是需要换光纤的。如果是升级到25G，那是不需要换。这样你就很容易明白一个逻辑，10G是40G的子集，同理25G也是100G的子集。就目前来说10G升级到25G已经到头了，除非换光纤。SO，我目前只有40G升级到100G是无缝升级的。

再说一个事实，我千兆电口升级光口万兆，成本是远比升级2.5G低，性能是2.5G的四倍。从万兆光口升级到40G，也一样是成本比25G低。这是垃圾佬的优势之一。普通人家用没特别需求的话，千兆/2.5G就非常够用。如果你觉得千兆不够用，建议跳过2.5G 直接升级万兆。万兆不够用，请升级40G，跳过25G。需要注意一点，这适用家庭或者小工作室，毕竟在家里你应付一下家人也不是什么难事。在公司可不一样哦，要走审批和流程，除非你是boss可以随心所欲。

如果你是在公司，请记住一点，人工成本永远是大头，以上经验不适用你的情况，请找专业人士来根据需求做方案。

看了下之前文章的评论区，比较多人说功耗的问题。我这里只想说一句，服务器被设计出来是拿来用的，而不是让你待机浪费电的。

好多人问价格，其实这个你们动动手指到二手交易网站自己查查就知道了，而且二手物品，一天一个价格，就跟古玩一样，甚至有卖家都不知道自己卖的啥玩意被识货的买家捡漏了。我就挑几个我个人感觉比较有代表性的交换机的价格并且稍微评价下供参考。

10G交换机: 50美元EDGE-CORE 5700-96X， 96口万兆交换机，ebay上有卖。全新的，这种级别交换机能原价买回来并用上1/4的接口的话，我实在是想不出来有啥比这个更有性价比的了。

40G 交换机： 100-200美元 SX6012/SX6036。 mellanox交换机， ebay上有卖，都是二手，橙色看人品。

100G 交换机： 300-500美元 DX010， 32口100G交换机，还是再ebay上。听说比较灵车，但这价位能用的话就是真香机

作者声明本文无利益相关，欢迎值友理性交流，和谐讨论～