ESXI ROS Lede双软路由折腾散记

家里目前是移动宽带1G，路由器是华硕的5300。一般情况下是够用了。为什么折腾软路由，主要是想学习下容器云技术，能够愉快的拉国外的镜像。
印象很深，之前刚学习k8s技术时，怎么安装都不成，那些日子刚好去美国出差，落地在酒店里继续安装，居然很快装成了，哎，一个好的网络环境对学习新技术是至关重要的！遗憾的是当时我还不知道软路由。

去年疫情的缘故，在家工作时间多了很多，最开始买5300就是想有个可靠高速的网络来看下载收看4k电影，效果还不错，后来播放机的4T硬盘很快满了，就又投资买了群晖920+以及1块12T的酷狼。NAS目前只放电影文件，主要通过群晖上安装Aria2容器来下载。通过115网盘来转存。好的时候下载速度可以到达60MB，最近115好像限速了，只能30MB，感觉不可靠了。

今年年初的时候，又再次感觉到这些年自己动手太少，一个很重要的原因是没有环境。我是做IT的，以前动手比较多，那时候IT还比较简单，后来动嘴的多，动手的少了。最近这几年K8S/Docker的出现，IT变得极为复杂了，光靠看和说已经很难有感觉了。公司这些年也不太好，申请环境要部门花钱，部门为了节省开支一般都不愿意支持，还有就是公司的环境要装一大堆补丁什么的，还不时的收到各种安全警告，所以大家申请公司环境的热情就很低了。我只能说公司上层太蠢，搞IT的不能愉快的获得环境折腾，还谈什么skill提升，光看PPT吗？

想想还是自立更生吧。之前买过1个Dell的R620（32Core/128G）的二手服务器，可以虚拟化成几个虚拟机装open shift学习，如果能改善下网络环境，是不是就会很流畅的玩了呢？于是又把目光投向软路由。

前些日子偶然看到知乎上有个人写了个非常长的贴子，介绍他玩软路由的心得体会，知道了个联想的小主机可以装4口网卡，于是动了心思，咸鱼上买了个联想的小主机M920X（16G/I5-9500T）及Intel I350T4网卡。不想买成品软路由的原因主要是觉得工艺不好还贵。自己是搞IT的，自己安装调试应该问题不大。再有以后自己不玩了，小主机还可以当PC用。当然联想的小主机其实也不便宜，这两样加起来近4000了，还是咸鱼价，其实感觉比Dell/HP贵不少，买联想的唯一的好处，就是可以扩展4口网卡，Dell的就比较难了。

M920X到货后，工艺尚可吧，符合我对联想的一贯印象。想起90年代PC刚出现时，联想的PC真是天价啊，比国外的品牌康佰等还贵，不知道是哪来的底气，东西比自己攒的机器能好点？！

M920X小主机

这个小主机没什么大毛病，除了配的AVC风扇噪音大，开机就一直是那种高频的低噪音，声音比我的Dell XPS台式机还大。于是联系卖家，他承认原厂配的65W的纯铜散热器，他这个配的是铝的，但对35W的9500T应该够了。风扇换个富士通的声音就好很多。我本来想直接换纯铜散热器，但他说要加380块钱，并且信誓旦旦的说，那个散热效果并不好，并极力推荐换富士通风扇外配1个纯铜散热片（80元），我同意了。

收到货后，换上后，风扇声音的确比AVC的小了很多。测了下CPU温度，一般工作时在40度到50多度吧，摸机箱还是热的比较明显的。比我的Dell XPS（9700）温度还要高个10度左右吧，感觉温控不太理想，可能是换风扇时，没有把CPU硅泥重涂吧。打算先凑合用吧，过段时间有空了重新弄下。

换好的风扇及铜片

终于能开始折腾软路由了，之前看过贴子，很多人推荐ROS+L大的OpenWrt。先从L的OpenWrt搞起。

对网上放出的各种版本的固件不放心，担心后门广告啥的，多年的IT经验教训吧，尽量找可信的软件。我极少从比较流行的下载网站或陌生的站点下载软件，一般都是直接去官网。所以我去了Lean的Github。R620的服务器上装了个Ubuntu18的虚拟机，按照Lean的Github的指导开始编译固件。我没注意到其实Lean的有两个版本：Lede和OpenWrt，这两个版本究竟什么区别我还没搞清楚。只是当时被一个帖子带到了Lede的那个链接，后来我才发现Lean其实还有个OpenWrt的链接，但我当时不知道，就开始在自己的环境中编译固件。

本来以为，编译最多花时间长点，可没想到，上来就不顺利，发现编译需要的很多东西根本就拉不下来，究其原因，还是网络环境不够科学的问题。一筹莫展之季，想起去年曾经白嫖过一个谷谷云，在那上面编译不就直接科学了嘛。于是换谷谷云编译。

我还是低估了编译的困难。主要是编译需要的时间超长，看网上说，编译Lean的固件一般要2小时左右。我前后花了2天吧，其中有一天基本都是在编译，主要是谷谷云的登录老是会自动断开，然后需要重新登录再编译，刚开始按照Lean的指导，每次从头开始，后来发现这样太费时间，就每次中断后，再登录进去直接执行make编译。就这样不知道重发了多少次make，反正折腾了10几个小时吧，编译才完成。这大大超出了我的预料，我想可能是我的环境的vcpu只有2个吧，也可能是每次重新make，好多之前的编译过程再重新来一遍？

也不知道编译出的固件有没有问题，不管了。

固件有了，以为可以愉快的刷机了。本来想先搞个裸装Lede体验一下，但发现需要PE盘，网上流传的一些工具什么老什么桃等，感觉都不靠谱，据说广告插件多。于是找了下微软官方说明，自制了WinPE，做好后，发现在自制WinPE里无法安装固件写盘工具。折腾了2天，没有解决。在网上看到有人说其实虚拟化比裸装损失不了太多性能，而且以后不想由于折腾Lede导致网络断网，于是想来想去觉得还是ESXI装软路由折腾方便些。就开始了ESXI上装ROS及Lede的折腾。

ESXI安装到比较顺利。安装后，设置了固定的管理网络地址，这里就觉得有点问题了。我目前的网络是5300做路由及网关和dhcp，所以ESXI还可以用5300做网关。未来5300将被替换掉，用ROS做主路由，Lede做旁路由。那ESXI的管理ip的网关该怎么设置呢？指向ROS的IP吗？这有点不和逻辑嘛，有点鸡生蛋蛋生鸡的意思。这个问题目前还没找到答案。好在我发现网关设置为ESXI的管理IP，接根网线，通过我的台式机设置固定IP，直接连接小主机也能访问ESXI的web管理页面，来进行ROS和LEDE的虚拟机安装。但安装完后怎么设ESXI的网关呢，还没想清楚。我想最合逻辑的就是ESXI的管理IP的网关指向它自己吧，不知道会怎样。

安装好的ESXI

在ESXI的Web管理页面里，做了网卡直通。也在某宝上买了ROS CHR P10的授权。不想用网上的各种破解版，还是觉得不安全。于是开始装ROS。其实还没太搞清楚网卡该怎么规划。网上有人说网上又人说网卡直通，也有人提配置虚拟交换机。我发现这两种其实是互斥的，也就是你做了网卡直通，就不能用虚拟交换机了，你做了虚拟交换机，就不能网卡直通了，不知道我理解的对不对，反正我试出来就是这样。

我的想法是用M920X自带的网口做管理口，那块网卡没有直通。I350T4 的4个网口全部直通。直通后，2个给ROS虚拟机，2个给Lede虚拟机。

于是开始刷ROS虚拟机。因为看网上说，双软路由，主路由2块网卡就够了，创建ROS虚拟机时，我把ESXI缺省配置的网卡VM Network给删了，因为我觉得那个就是管理口的网卡，我已经把它留给ESXI了，只做ESXI的管理，不想给ROS。

ROS虚拟机建成后，按照教程，顺利配置ROS并拨号上网。Wan口和Lan口也准确识别。就管理ESXI时，只能通过设置固定IP并网线直连ESXI的管理口。

这里有个问题，我按照商家的指南安装ROS正版授权，发现安装完后，通过winbox里，看到的license还是到2个月后的时间，感觉还是临时license。可是我的ROS官网账户的license倒是永久的，问了商家还没有答复。

之后开始创建Lede的虚拟机，旁路由据说只要1个网口就可以了，但我把ESXI缺省配置的网卡1保留，并把剩下的2个I350T4的直通网口都给了Lede。Lede刷机后，感觉启动比较慢。按照网上的教程配置双路由的网关和DNS。

配置完成后，上网，发现不通。想来想去，觉得还是自己网口规划没想清楚。2个虚拟机之间应该是通过虚拟交换机通讯吧，感觉我都用直通的网卡就用不了虚拟交换机了。可是要用虚拟交换机，就做不了直通，看起来是个矛盾。

折腾了几天到半夜，虽然还没成，但感觉自己搞清楚了一些吧。后面会再继续研究网口的规划使用。

昨晚都快半夜了，台式机的win10推送升级，我寻思升就升吧，就开始做了win10的升级，升完后，重启，发现居然没有wifi连接了，也找不到WLAN的配置了，一查，发现很多人有同样问题。这特么明显是win10的bug啊。说实话，微软这些年的windows真心不靠谱，很折磨人，我自己的工作电脑早几年也换成mac了，虽然mac的有些功能不如windows，但好歹稳定些。

春节继续折腾吧