最便宜的四口25G网卡——华为SP570简测

2024-06-15 18:25:11 11点赞 22收藏 58评论

2024年,25G网卡的价格已经降至之前10G网卡的水平,虽然25G交换机仍然高不可攀,但是使用更新,支持特性更多的25G网卡代替老旧的82599、ConnectX-3等网卡势在必行。近期华为的SP570网卡价格已经降至冰点,部分卖家已将价格挂到200元,作为一张四口25G网卡,它的价格已经与双口的CX4121A相差无几。作为华为Hi1822主控的网卡,海鲜市场中存在SP580与SP570两种网卡。根据版本更新说明书中的说法,SP580替代SP570的更新版本, 能够做到硬件替代时继承原有硬件已有功能,做到即插即用。替代硬件后设备软件版本、网管软件版本、网络上关联设备不联动升级或打补丁。暂时还不知道SP580相比与SP570更新在什么地方,但是他们存在100多元的差价,最终在海鲜市场收购了一张SP570进行测试。

太长不看系列:支持Windows、Linux、爱快;能和比ConnectX-4 lx好一点;以当支持RDMA的交换机用。总结:200块钱超值。

1. SP570简介

SP570属于华为的智能网卡IN200系列,IN200以太网卡是适配华为服务器的PCIe标卡/OCP3.0网卡,为服务器提供扩展的对外业务接口。IN200网卡根据接口数量和速率不同有以下几种:

1. SP570和SP580:提供4个25GE/10GE SFP28光口

2. SP572和SC371:提供2个100GE/40GE QSFP28光口

3. SP582、SP586和SC381:提供2个25GE/10GE SFP28光口

IN200是基于华为海思Hi1822网卡芯片的PCIe标卡/OCP3.0网卡,支持PCIe x16 Gen3.0(SP570/SP580/SP572/SC371),PCIe x8 Gen3.0(SP582/SP586/SC381),支持I2C(Inter-integrated Circuit)和MCTP(Management Component Transport Protocol)带外管理。

IN200的产品特性如下:

l 支持IPv4/IPv6/TCP/UDP校验和卸载,TSO(TCP Segmentation Offload),LRO(Large Receive Offload)和RSS(Receive Side Scaling)。

l 支持中断聚合参数配置和参数自适应。

l 支持802.1Q VLAN(Virtual Local Area Network)加速和过滤。

l 支持VXLAN(Virtual eXtensible Local Area Network)、NVGRE(Network Virtualization using Generic Routing Encapsulation)卸载。

l 支持Pause帧、PFC(Priority Flow Control)和ETS(Enhanced Transmission Selection)。

l 支持NetQueue。

l 支持网卡SR-IOV(Single Root I/O Virtualization)。

l 支持虚拟机多队列(Virtual Machine Multi Queue)。

l 支持DPDK(Data Plane Development Kit)。

l 支持PF(Physical Function)直通虚拟机。

l 支持PF混杂模式、单播列表过滤、组播列表过滤、全组播模式。

l 支持VF单播列表过滤、组播列表过滤、全组播模式。

l 支持VF QinQ模式。

l 支持VF link状态配置为Auto、Enable、Disable。

l 支持VF QoS配置。

l 支持VF MAC地址管理。

l 支持VF spoofchk检查。

l 支持VEB,即Function间支持内部交换。

l 支持RoCEv2卸载。

l 支持UEFI(Unified Extensible Firmware Interface)下PXE(Preboot eXecution Environment),在Legacy模式下不支持PXE。支持配置VLAN,支持安全启动,支持BIOS(Basic Input and Output System)下端口界面配置。

l 支持MCTP(Management Component Transport Protocol)。

l 支持带外方式芯片日志获取。

l 支持网卡管理CLI工具。

l 支持带内一键式日志收集。

l 支持环回测试。

l 支持端口点灯。

l 支持以太端口FEC(Forward Error Correction)模式配置。

l SC371/SC381支持OCP扫描链(scan chain)。

l 支持以太口自协商。

其中对于HomeLab中比较重要的特性有SR-IOV、网口直通、片上交换的VEB,前两个决定了它在虚拟化平台上的使用方式,VEB决定了这张四口25G网卡是否有希望成为最便宜的四口25G交换机。

2. SP570的外观与测试平台

SP570拿到手后成色非常好,基本上没有什么上机痕迹,应该是无尘机房中拆出的。SP570是标准的HHHL形态,插槽为PCIe3.0x16。挡板为华为具有特色的挡板,固定螺丝位于SFP笼子后部,我买的这张卡自带全高挡板,半高挡板与SP332、SP570与SP580共用且在海鲜市场有售,但是不便宜。

最便宜的四口25G网卡——华为SP570简测最便宜的四口25G网卡——华为SP570简测最便宜的四口25G网卡——华为SP570简测

图1. SP570的外观图

整体的做工还是非常好的,拿在手里沉甸甸的。可以看到卡后端的供电部分非常的豪华,整张卡的标称功率也到了19-25w,属于发热量不小的网卡,在使用中需要注意散热。

3. SP570的驱动支持情况。

测试平台为还不算过时的8代酷睿平台,CPU使用i5-8400,内存为标准的双通道DDR4-2666V,主板为华擎Z370M-Pro4,不进行任何超频操作,打开虚拟化支持、VT-d以及PCIe ASPM。网卡插在PCIe3.0x16插槽,使用9cm风扇直吹散热。

图2. 测试平台图2. 测试平台

对于SP570来说,Linux、Windows与ESXi具有官方驱动支持,驱动名为hinic。官方驱动支持如下:

图3. SP570/580驱动支持图3. SP570/580驱动支持

Linux下因为hinic在数年前已经合并到内核中,因此较新内核的系统都不需要单独安装驱动即可支持SP570。

图4. Ubuntu 22.04设备显示图4. Ubuntu 22.04设备显示

Windows下华为给出了Windows Server 2012 R2与2016的驱动,实测可以在Windows Server 2022上正常安装与识别。

图5. Windows Server 2022设备管理器图5. Windows Server 2022设备管理器

ESXi中华为给出了ESXi6.x的vib安装包,实测安装vib后升级至7.0m3仍可以正常识别SP570并使用,在ESXi8.0中官方移除了对SP570/580的支持,因此不做尝试。

图6. ESXi 7.0m3设备列表图6. ESXi 7.0m3设备列表

OpenWRT官方没有将hinic驱动加入,因此安装后并不支持。但是hinic的源码在Linux的内核中,可以尝试在OpenWRT中编译hinic驱动以增加支持。

爱快加载全部驱动后可以正常识别SP570并使用。

图7. 爱快硬件信息列表图7. 爱快硬件信息列表

使用SA6400安装DSM7.2在系统内无法显示SP570,应该在内核内并未编译hinic驱动。

最后SP570支持RoCEv2,但是在文档中RoCE驱动仅支持Linux,且Ubuntu 22.04之后的RoCE驱动不再公开,必须联系华为工作人员才能获取,因此在后续的测试中所有系统均不开启RoCE。

图8. SP570 RoCE驱动支持列表图8. SP570 RoCE驱动支持列表

4. 模块兼容性测试

使用常用的1.25G、2.5G、10G、25G光口模块以及TP-LINK的SM410U 2.5G电口模块测试SP570对光模块的兼容性。

图9. 测试模块图9. 测试模块

兼容性测试显示SP570可以正常支持25G/10G/1.25G模块,对2.5G的光模块与电口模块均不兼容。使用SM410U时将对端网口强制为1G时仍无法正常协商,因此可能将SP570网口速率强制设置为1G时SM410U可以正常使用。

5. SP570 SMB性能测试。

Windows下的SMB性能测试:I5-13600Kf使用SP570访问使用CX4121A-ACAT网卡的i3-12100 NAS中的P7000Z,网络连接速度为25Gbps,P7000Z连接速度为PCIe4.0x4,测试大小为1G保证在缓内不受硬盘性能影响。对比测试为不启用RoCE的CX4121A。

最便宜的四口25G网卡——华为SP570简测最便宜的四口25G网卡——华为SP570简测最便宜的四口25G网卡——华为SP570简测

图10. SP570在Windows下的SMB速度测试

测试结果依次为SP570 -> CX4121A,CX4121A -> CX4121A以及CX4121A -> CX4121A(启用RoCE)。可以看出与CX4121A的结果不同,SP570在写入速度要高于读取速度达到了1641MB/s与3086MB/s,写入速度跑满了25Gbps的带宽。在不启用的RoCE的情况下CX4121A只有读取可以跑满25Gbps,写入在10Gbps左右。同时SP570在4K文件读写方面要高于CX4121A。启用RoCE后CX4121A读取和写入均能跑满25Gbps,且4K速度大幅提升。

6. SP570交换性能测试

SP570支持OVS offload以及不同端口之间的片上交换,故进行交换测试。首先安装OpenEuler24.03系统,使用网卡管理工具hinicadm列出网卡,系统上安装了一张基于Hi1822的网卡。

最便宜的四口25G网卡——华为SP570简测

添加 -i 命令列出网卡的详细信息,显示网卡类型为25G_ETH模式,host数量为1说明没有启用multi-host,运行在X16模式,最大支持支持240个vf。

最便宜的四口25G网卡——华为SP570简测

将SP570的工作模式从NIC模式改为OVS模式启用OVS offload。

最便宜的四口25G网卡——华为SP570简测

安装爱快3.7.11,启用全部网络驱动后重启。新建LAN口,将SP570的所有四个端口全部加入LAN。

最便宜的四口25G网卡——华为SP570简测

按照CX4121A(i3-12100)- SP570(i5-8400)- CX4121A(i5-13600KF)的方式连接光纤,将SP570作为交换机使用。使用资源管理器从i5-13600KF的机器中向i3-12100的NAS中写入文件,速度稳定在1.23GB/s。任务管理器中无速度显示,证明CX4121A之间正常协商了RoCE。此时爱快显示CPU占用为39.5%。

最便宜的四口25G网卡——华为SP570简测

从i3-12100的硬盘中读取文件,速度稳定在1.15GB/s,资源管理器仍无速度显示,说明RoCE双向均生效。此时CPU占用为51.9%。

最便宜的四口25G网卡——华为SP570简测

在上述测试中观察爱快的性能记录,发现在复制时吃满了两颗核心,推测是一个核心用于接收数据一个核心用于发送数据,那么CPU的性能将会和复制速度挂钩。开启睿频后再次测试,CPU频率从2.8G提升至3.5G,复制速度从1.25GB/s提升至1.58GB/s,证明端口间的交换速率受到单核性能的影响。

最便宜的四口25G网卡——华为SP570简测

7. 总结

作为现在最廉价的25G四口网卡,SP570在驱动方面支持不够广泛,在OpenWRT与其衍生系统、群晖DSM中不支持极大的限制的它的使用场景。因此这张网卡的最佳使用场景可以为:

1. 作为软路由,安装爱快并将接口全部设置为LAN口,这样可以将其充当交换机使用,CPU-Z单核450分的8400可以将软交换的速率跑到1.5GB/s,那么N100的应该也能满足四口10Gbps交换的性能需求,使用12100等CPU可以做到25Gbps的交换。同时SP570支持RoCE,可以在两端都是Windows的情况下减少它们的CPU占用率。

2. 作为虚拟化平台的出口网卡。在虚拟化环境中,ESXi与PVE均支持SP570,使用VMXNET3中转的情况下也可以让大多数系统用上这张网卡。作为最便宜的四口25G网卡,使用SP570可以直接让HomeLab的连接速率升级。

3. 作为Windows主机或者NAS的升级网卡。SP570在Windows下的驱动可以正常使用,性能也是一张合格的25G网卡。最重要的是SP570的散热器用料豪华,散热压力会比Mellanox的网卡小一点。

在现在双口万兆交换机也要200块钱的情况下,一张只要200元的四口25G网卡已经可以满足大多数HomeLab的连接性需求。将SP570安装至软路由平台,四个网口分别连接PC、NAS、服务器等设备,可以在联通网络的同时给设备之间一个高带宽的连接方式。因此SP570是一个合格软路由用多口网卡。

作者声明本文无利益相关,欢迎值友理性交流,和谐讨论~

展开 收起
58评论

  • 精彩
  • 最新
  • 这个卡我在ikuai环境下能分配lan口,但是数据走不通啊,很奇怪,ikuai能识别到,物理连接上了,但是在ikuai后台显示未连接,楼主有遇到过这个情况吗,win server本身是没问题,但是实际在ikuai环境下不行

    校验提示文案

    提交
    windows 的驱动在哪下的啊?

    校验提示文案

    提交
    我也没遇到过这种情况,是不是光模块的兼容性有问题?

    校验提示文案

    提交
    还有2条回复
    收起所有回复
  • 楼主 OVS offload 没有成功,Linux官方内核里面的hinic驱动不支持OVS,可以提取OpenEuler内核里的hinic替换编译openwrt或者其他基于Linux的系统,实测跑满25Gbps无CPU占用。

    校验提示文案

    提交
    方便说下具体操作吗?从openeuler里面找到hinic 的KO文件,再拷到openwrt 的内核驱动目录?

    校验提示文案

    提交
    你好,我用openeuler的源码替换了immortalwrt的hinic驱动,卡开了ovs模式,在imm里识别到了两个eth,请问你也是这样么

    校验提示文案

    提交
    还有3条回复
    收起所有回复
  • 刚到了sp570 可以在pve下识别,但在ikuai里无法识别,加载了所以网卡驱动也不行,不知道哪里出了问题

    校验提示文案

    提交
    你看见机子启动会不会太快了,机子启动太快也会认不到

    校验提示文案

    提交
    收起所有回复
  • 楼主能不能给我发一下windows下的驱动 我没权限在华为官网下载 另外在大于6.6以上Linux内核中这张卡已经无法驱动了 [装大款] 不过我移植了openeuler的驱动到基于debian的操作系统中 [高兴] 目前openwrt下的驱动还没搞定 另外我安装了openeuler24.03SP2下面怎么没有hinicadm这个命令啊 软件仓库里也没有 [装大款]

    校验提示文案

    提交
  • 不加风扇能不能用

    校验提示文案

    提交
    烫,长时间负载我没试过

    校验提示文案

    提交
    收起所有回复
  • 楼主提到的windows server的驱动哪里能下载到。找了半天找不到呀。

    校验提示文案

    提交
    我也没找到

    校验提示文案

    提交
    在华为in500的支持里

    校验提示文案

    提交
    还有8条回复
    收起所有回复
  • 入了sp580,直接插在x16槽识别不到,需要拆分x4+x4+x4+x4才能识别出四个网口😓sp570是不是这样子?

    校验提示文案

    提交
    你买到multihost卡了,装一个openeular用hinicadm切一下模式就可以了

    校验提示文案

    提交
    不对,multihost好像只能刷固件解决。你应该买到了sd100的拆机卡,这个没办法切成普通模式

    校验提示文案

    提交
    还有2条回复
    收起所有回复
  • 2016的驱动在server2022上安装么

    校验提示文案

    提交
    直接装就行

    校验提示文案

    提交
    谢谢🙏

    校验提示文案

    提交
    还有3条回复
    收起所有回复
  • 2U机箱只能用半高卡,我想要片上交换,CX6效果说是比CX5更好,但华为便宜的CX6是100G的,而且不支持1拆4当4口25G,感觉太浪费了,有没有其它选择?最好是OpenWrt驱动开箱即用的

    校验提示文案

    提交
    QL45611可能可以,qlogic的驱动支持还是挺不错的

    校验提示文案

    提交
    收起所有回复
  • 请教下,如果使用爱快系统下做25G交换机使用,是不是一定要用OVS模式启用OVS offload?还是NIC模式也可以?爱快是否是默认打开RDMA?

    校验提示文案

    提交
    我NIC模式下开交换也是类似的效果,可能持续打流的时候才能看出来。

    校验提示文案

    提交
    华为这张卡的RDMA驱动现在只能找华为要,所以在大多数非华为平台上应该是没希望启用RDMA了

    校验提示文案

    提交
    收起所有回复
  • CPU占用率这么高,这也算offload成功了?

    校验提示文案

    提交
    我觉得没有,offload的应用条件挺复杂的

    校验提示文案

    提交
    收起所有回复
  • 如果走RDMA的话,是不是CPU主频或者单核性能就可以不用考虑了

    校验提示文案

    提交
    对,走RDMA的话就不需要考虑CPU的问题了

    校验提示文案

    提交
    收起所有回复
  • 兔佬点了第一个赞

    校验提示文案

    提交
  • 最近都是这个,性价比真好啊,哎刚买的超威博通57840s

    校验提示文案

    提交
  • Pve8测试过没?群晖能不能单独打驱动呢?

    校验提示文案

    提交
  • Windows驱动位置发下呗

    校验提示文案

    提交
  • 你好UP主,这个网卡你能分享下最新的固件跟win下的驱动吗?

    校验提示文案

    提交
    主要是华为的网站我们一般人都是没下载权限。注册了也没权限

    校验提示文案

    提交
    收起所有回复
  • 在B站也看到这篇文章了 是同一个人发的么?

    校验提示文案

    提交
  • 请教一下,这个卡truenas能用吗,有没有驱动啊

    校验提示文案

    提交
    已解决,debian集成了hinc驱动,能正常识别。

    校验提示文案

    提交
    收起所有回复
  • 老哥方便给个ESXI的驱动么?

    校验提示文案

    提交
提示信息

取消
确认
评论举报

相关文章推荐

更多精彩文章
更多精彩文章
最新文章 热门文章
目录
22
扫一下,分享更方便,购买更轻松