最便宜的四口25G网卡——华为SP570简测
2024年,25G网卡的价格已经降至之前10G网卡的水平,虽然25G交换机仍然高不可攀,但是使用更新,支持特性更多的25G网卡代替老旧的82599、ConnectX-3等网卡势在必行。近期华为的SP570网卡价格已经降至冰点,部分卖家已将价格挂到200元,作为一张四口25G网卡,它的价格已经与双口的CX4121A相差无几。作为华为Hi1822主控的网卡,海鲜市场中存在SP580与SP570两种网卡。根据版本更新说明书中的说法,SP580替代SP570的更新版本, 能够做到硬件替代时继承原有硬件已有功能,做到即插即用。替代硬件后设备软件版本、网管软件版本、网络上关联设备不联动升级或打补丁。暂时还不知道SP580相比与SP570更新在什么地方,但是他们存在100多元的差价,最终在海鲜市场收购了一张SP570进行测试。
太长不看系列:支持Windows、Linux、爱快;能和比ConnectX-4 lx好一点;以当支持RDMA的交换机用。总结:200块钱超值。
1. SP570简介
SP570属于华为的智能网卡IN200系列,IN200以太网卡是适配华为服务器的PCIe标卡/OCP3.0网卡,为服务器提供扩展的对外业务接口。IN200网卡根据接口数量和速率不同有以下几种:
1. SP570和SP580:提供4个25GE/10GE SFP28光口
2. SP572和SC371:提供2个100GE/40GE QSFP28光口
3. SP582、SP586和SC381:提供2个25GE/10GE SFP28光口
IN200是基于华为海思Hi1822网卡芯片的PCIe标卡/OCP3.0网卡,支持PCIe x16 Gen3.0(SP570/SP580/SP572/SC371),PCIe x8 Gen3.0(SP582/SP586/SC381),支持I2C(Inter-integrated Circuit)和MCTP(Management Component Transport Protocol)带外管理。
IN200的产品特性如下:
l 支持IPv4/IPv6/TCP/UDP校验和卸载,TSO(TCP Segmentation Offload),LRO(Large Receive Offload)和RSS(Receive Side Scaling)。
l 支持中断聚合参数配置和参数自适应。
l 支持802.1Q VLAN(Virtual Local Area Network)加速和过滤。
l 支持VXLAN(Virtual eXtensible Local Area Network)、NVGRE(Network Virtualization using Generic Routing Encapsulation)卸载。
l 支持Pause帧、PFC(Priority Flow Control)和ETS(Enhanced Transmission Selection)。
l 支持NetQueue。
l 支持网卡SR-IOV(Single Root I/O Virtualization)。
l 支持虚拟机多队列(Virtual Machine Multi Queue)。
l 支持DPDK(Data Plane Development Kit)。
l 支持PF(Physical Function)直通虚拟机。
l 支持PF混杂模式、单播列表过滤、组播列表过滤、全组播模式。
l 支持VF单播列表过滤、组播列表过滤、全组播模式。
l 支持VF QinQ模式。
l 支持VF link状态配置为Auto、Enable、Disable。
l 支持VF QoS配置。
l 支持VF MAC地址管理。
l 支持VF spoofchk检查。
l 支持VEB,即Function间支持内部交换。
l 支持RoCEv2卸载。
l 支持UEFI(Unified Extensible Firmware Interface)下PXE(Preboot eXecution Environment),在Legacy模式下不支持PXE。支持配置VLAN,支持安全启动,支持BIOS(Basic Input and Output System)下端口界面配置。
l 支持MCTP(Management Component Transport Protocol)。
l 支持带外方式芯片日志获取。
l 支持网卡管理CLI工具。
l 支持带内一键式日志收集。
l 支持环回测试。
l 支持端口点灯。
l 支持以太端口FEC(Forward Error Correction)模式配置。
l SC371/SC381支持OCP扫描链(scan chain)。
l 支持以太口自协商。
其中对于HomeLab中比较重要的特性有SR-IOV、网口直通、片上交换的VEB,前两个决定了它在虚拟化平台上的使用方式,VEB决定了这张四口25G网卡是否有希望成为最便宜的四口25G交换机。
2. SP570的外观与测试平台
SP570拿到手后成色非常好,基本上没有什么上机痕迹,应该是无尘机房中拆出的。SP570是标准的HHHL形态,插槽为PCIe3.0x16。挡板为华为具有特色的挡板,固定螺丝位于SFP笼子后部,我买的这张卡自带全高挡板,半高挡板与SP332、SP570与SP580共用且在海鲜市场有售,但是不便宜。



图1. SP570的外观图
整体的做工还是非常好的,拿在手里沉甸甸的。可以看到卡后端的供电部分非常的豪华,整张卡的标称功率也到了19-25w,属于发热量不小的网卡,在使用中需要注意散热。
3. SP570的驱动支持情况。
测试平台为还不算过时的8代酷睿平台,CPU使用i5-8400,内存为标准的双通道DDR4-2666V,主板为华擎Z370M-Pro4,不进行任何超频操作,打开虚拟化支持、VT-d以及PCIe ASPM。网卡插在PCIe3.0x16插槽,使用9cm风扇直吹散热。
图2. 测试平台对于SP570来说,Linux、Windows与ESXi具有官方驱动支持,驱动名为hinic。官方驱动支持如下:
图3. SP570/580驱动支持Linux下因为hinic在数年前已经合并到内核中,因此较新内核的系统都不需要单独安装驱动即可支持SP570。
图4. Ubuntu 22.04设备显示Windows下华为给出了Windows Server 2012 R2与2016的驱动,实测可以在Windows Server 2022上正常安装与识别。
图5. Windows Server 2022设备管理器ESXi中华为给出了ESXi6.x的vib安装包,实测安装vib后升级至7.0m3仍可以正常识别SP570并使用,在ESXi8.0中官方移除了对SP570/580的支持,因此不做尝试。
图6. ESXi 7.0m3设备列表OpenWRT官方没有将hinic驱动加入,因此安装后并不支持。但是hinic的源码在Linux的内核中,可以尝试在OpenWRT中编译hinic驱动以增加支持。
爱快加载全部驱动后可以正常识别SP570并使用。
图7. 爱快硬件信息列表使用SA6400安装DSM7.2在系统内无法显示SP570,应该在内核内并未编译hinic驱动。
最后SP570支持RoCEv2,但是在文档中RoCE驱动仅支持Linux,且Ubuntu 22.04之后的RoCE驱动不再公开,必须联系华为工作人员才能获取,因此在后续的测试中所有系统均不开启RoCE。
图8. SP570 RoCE驱动支持列表4. 模块兼容性测试
使用常用的1.25G、2.5G、10G、25G光口模块以及TP-LINK的SM410U 2.5G电口模块测试SP570对光模块的兼容性。
图9. 测试模块兼容性测试显示SP570可以正常支持25G/10G/1.25G模块,对2.5G的光模块与电口模块均不兼容。使用SM410U时将对端网口强制为1G时仍无法正常协商,因此可能将SP570网口速率强制设置为1G时SM410U可以正常使用。
5. SP570 SMB性能测试。
Windows下的SMB性能测试:I5-13600Kf使用SP570访问使用CX4121A-ACAT网卡的i3-12100 NAS中的P7000Z,网络连接速度为25Gbps,P7000Z连接速度为PCIe4.0x4,测试大小为1G保证在缓内不受硬盘性能影响。对比测试为不启用RoCE的CX4121A。



图10. SP570在Windows下的SMB速度测试
测试结果依次为SP570 -> CX4121A,CX4121A -> CX4121A以及CX4121A -> CX4121A(启用RoCE)。可以看出与CX4121A的结果不同,SP570在写入速度要高于读取速度达到了1641MB/s与3086MB/s,写入速度跑满了25Gbps的带宽。在不启用的RoCE的情况下CX4121A只有读取可以跑满25Gbps,写入在10Gbps左右。同时SP570在4K文件读写方面要高于CX4121A。启用RoCE后CX4121A读取和写入均能跑满25Gbps,且4K速度大幅提升。
6. SP570交换性能测试
SP570支持OVS offload以及不同端口之间的片上交换,故进行交换测试。首先安装OpenEuler24.03系统,使用网卡管理工具hinicadm列出网卡,系统上安装了一张基于Hi1822的网卡。

添加 -i 命令列出网卡的详细信息,显示网卡类型为25G_ETH模式,host数量为1说明没有启用multi-host,运行在X16模式,最大支持支持240个vf。

将SP570的工作模式从NIC模式改为OVS模式启用OVS offload。

安装爱快3.7.11,启用全部网络驱动后重启。新建LAN口,将SP570的所有四个端口全部加入LAN。

按照CX4121A(i3-12100)- SP570(i5-8400)- CX4121A(i5-13600KF)的方式连接光纤,将SP570作为交换机使用。使用资源管理器从i5-13600KF的机器中向i3-12100的NAS中写入文件,速度稳定在1.23GB/s。任务管理器中无速度显示,证明CX4121A之间正常协商了RoCE。此时爱快显示CPU占用为39.5%。

从i3-12100的硬盘中读取文件,速度稳定在1.15GB/s,资源管理器仍无速度显示,说明RoCE双向均生效。此时CPU占用为51.9%。

在上述测试中观察爱快的性能记录,发现在复制时吃满了两颗核心,推测是一个核心用于接收数据一个核心用于发送数据,那么CPU的性能将会和复制速度挂钩。开启睿频后再次测试,CPU频率从2.8G提升至3.5G,复制速度从1.25GB/s提升至1.58GB/s,证明端口间的交换速率受到单核性能的影响。

7. 总结
作为现在最廉价的25G四口网卡,SP570在驱动方面支持不够广泛,在OpenWRT与其衍生系统、群晖DSM中不支持极大的限制的它的使用场景。因此这张网卡的最佳使用场景可以为:
1. 作为软路由,安装爱快并将接口全部设置为LAN口,这样可以将其充当交换机使用,CPU-Z单核450分的8400可以将软交换的速率跑到1.5GB/s,那么N100的应该也能满足四口10Gbps交换的性能需求,使用12100等CPU可以做到25Gbps的交换。同时SP570支持RoCE,可以在两端都是Windows的情况下减少它们的CPU占用率。
2. 作为虚拟化平台的出口网卡。在虚拟化环境中,ESXi与PVE均支持SP570,使用VMXNET3中转的情况下也可以让大多数系统用上这张网卡。作为最便宜的四口25G网卡,使用SP570可以直接让HomeLab的连接速率升级。
3. 作为Windows主机或者NAS的升级网卡。SP570在Windows下的驱动可以正常使用,性能也是一张合格的25G网卡。最重要的是SP570的散热器用料豪华,散热压力会比Mellanox的网卡小一点。
在现在双口万兆交换机也要200块钱的情况下,一张只要200元的四口25G网卡已经可以满足大多数HomeLab的连接性需求。将SP570安装至软路由平台,四个网口分别连接PC、NAS、服务器等设备,可以在联通网络的同时给设备之间一个高带宽的连接方式。因此SP570是一个合格软路由用多口网卡。
作者声明本文无利益相关,欢迎值友理性交流,和谐讨论~

hallstone
校验提示文案
值友2859258368
校验提示文案
值友2892340948
校验提示文案
fenrisu1fr_1
校验提示文案
faninx
校验提示文案
值友4683749951
校验提示文案
Kenneth_Lai
校验提示文案
bit1001
校验提示文案
此名字仅供参考
校验提示文案
值友2892340948
校验提示文案
无羽之翼
校验提示文案
大咕咕咕咕
校验提示文案
兔叫兽DRR
校验提示文案
坚强本人
校验提示文案
猜我猜不猜
校验提示文案
石头82
校验提示文案
li2921578
校验提示文案
石头82
校验提示文案
已签到
校验提示文案
ToniNi
校验提示文案
ToniNi
校验提示文案
ToniNi
校验提示文案
fenrisu1fr_1
校验提示文案
值友2859258368
校验提示文案
大咕咕咕咕
校验提示文案
无羽之翼
校验提示文案
值友2892340948
校验提示文案
值友2892340948
校验提示文案
此名字仅供参考
校验提示文案
已签到
校验提示文案
bit1001
校验提示文案
Kenneth_Lai
校验提示文案
石头82
校验提示文案
li2921578
校验提示文案
hallstone
校验提示文案
石头82
校验提示文案
猜我猜不猜
校验提示文案
值友4683749951
校验提示文案
兔叫兽DRR
校验提示文案
坚强本人
校验提示文案