华为FusionCube超融合一体机改造VMware vSphere vSAN超融合虚拟化集群

前言
FusionCube是华为出品的，一套使用华为FusionSphere虚拟化技术打包出售的超融合一体机，我这里使用的三台超融合，包含华为 2288H V5服务器和FusionSphere虚拟化授权。
随着时间推进，华为超融合的软件授权已经过期，由于华为超融合生态与现有的虚拟化生态不兼容，随即决定将华为超融合改造为VMware vSphere vSAN超融合集群。
原华为数据会全部丢失。

整体思路
为服务器安装ESXi系统，服务器两个网络接口为一组，ESXi控制网络采用千兆网口，vSAN和业务网络采用trunk网络，配置独立VLAN隔离。

注意：本次改造为全过程记录，请全部看完后再进行操作；

运维最重要的是思路和耐心！

外观
正面照

lp95nuca.png

背面照

lp95oaaz.png

由于原标签已经老旧脱落，因此进行标签的重新标记

lp95pavp.png

2块NVME 800G 固态

lp95pyy7.png

2块SAS 600G 机械 RAID1 做系统盘

lp95qh1f.png

14块SAS 2.4T 机械

lp95r39v.png

进入BIOS/UEFI
重启

lp95wesq.png

F11进入 启动管理器

lp95x332.png

进入启动管理器时，会提示输入BIOS密码，默认为Admin@9000

lp95yso6.png

安装ESXi7
进入启动盘，我使用的是Ventoy

lp960kcj.png

进入ESXi7

lp960vmi.png

lp961ay2.png

踩坑1
进入后发现看不到NVME固态硬盘

lp9621ip.png

我的想法是，安装完ESXi7后再安装驱动

lp962yq0.png

系统安装完成

lp963axm.png

查看网卡对应关系
从左往后，2光口2网口2光口，对应ESXi系统中网卡从上到下顺序LOM1-4 SLOT4

lp964zaz.png

lp96co93.png

配置IP地址

lp96dubc.png

配置DNS和主机名

lp96enje.png

登录ESXi

lp96gr3f.png

开启SSH服务

lp96h5y5.png

使用SSH登录，上传从官网下载的ESXi6.7.ZIP中抽取的NVME VIB驱动
使ESXi进入CommunitySupported等级
esxcli software acceptance set --level=CommunitySupported
安装驱动
esxcli software vib install -v 完整路径.vib

lp96ihui.png

此时出现了大坑，安装nvme驱动会替换掉网卡驱动，导致开机无法联网。

踩坑2
莫慌，重来！

第二次安装测试，使用ESXi6.7启动，发现可以看到NVMe固态硬盘
这是因为ESXi7为了缩小体积，精简了大量的老旧设备驱动，我们可以通过修改镜像文件，将老的驱动放置在ESXi7中使用。

lp96nf44.png

因此，第二次安装测试，我们采用封装ISO的方式进行，从6.7的ISO中解压出NVME.V00文件，替换到ESXi7的NVME_PCI.V00文件，保持名字一致替换

lp96lvpv.png

镜像另存为导出

lp96q00f.png

也不再前往现场，而是采用BMC远程挂载ISO文件的方式安装

lp96tent.png

还是正常安装，测试可以看到NVME固态了

lp96ul45.png

安装完成后，再次进入ESXi，也可以看到硬盘

lp96w1lb.png

这里我不在超融合中安装vCenter了，直接使用其他VC新建集群

lp96zbry.png

lp96zl5y.png

lp96ztp5.png

出于习惯，进行补丁更新

lp9709km.png

此时出现了第二个大坑，更新补丁后，驱动覆盖了，NVME硬盘看不到了。

啊？！！！

踩坑3
再次重装，本次安装后进行备注，不再进行系统补丁更新

lp9754ip.png

按集群向导配置集群，配置分布式交换机

lp9d4o7j.png

下一步时出现黑块遮挡，啊？更换firefox浏览器后可以正常操作，分布式交换机配置完成

lp9d51nw.png

配置完集群后发现 "缺少功能MWAIT"，重启进入BIOS进行开启

lp9d6jik.png

进入BIOS

lp9d6pu5.png

位于 BIOS - Advanced - Socket Configuration - Processor Configuration - MONITOR/MWAIT

lp9d6wd1.png

然后发现集群没启用VSAN功能，需要新建一个集群，啊？

配置vSAN
新建一个vSAN集群，将主机拖入vSAN集群，按向导配置集群

lp9g7uh3.png

声明缓存层和容量层

lp9h0bw1.png

注意，集群的告警一个是我关闭了数据上传，另一个是替换了NVME驱动，所以告警了

lp9gd87v.png

使用默认vSAN策略

lp9ge3xj.png

默认为RAID1镜像模式，即一个虚拟机存储两份分布在整个集群中，三台物理主机允许一台宕机

lp9gekie.png

分布式交换机
工作正常

lp9gg9oe.png

验证
部署1台服务器，容量占用为两倍

lp9ggnen.png

在线迁移测试正常

lp9gjh58.png

lp9gjrar.png

lp9gkht2.png

BUG处理
由于非原生支持vSphere，所以有些主板硬件告警会误报，需要屏蔽掉；同时对于服务器硬件的监控，需要自行配置SNMP或邮箱进行告警通知。

lpag3tuf.png

lpag42mu.png

lpag494e.png

总结
历时2天，克服困难，遥遥领先！遥遥领先！遥遥领先！

作者声明本文无利益相关，欢迎值友理性交流，和谐讨论～