低成本100G(十万兆)家庭NAS搭建 分享经验

该文章只是提供一个低成本解决高并发的需求的思路, 合适家庭小工作室 or 跑分需求. 建议学习参考.

以下设备基本在2021年3月中旬选购的. 每天市场价格变化, 我这里只说我购买的价格, 仅供参考.

本片文章主要分开硬软两部分(广义上)

硬件篇

平台选型: AMD EPYC

这里我选择的是一代epyc 7261, 规格是8C16T, 基准速度2.5GHz, 实测可以超频到3.8Ghz. 购入价格是500元. 基本就是epyc的亮机U, 只为看中128条pcie3.0

AMD YES!

主板选用 超微H11SSL, 板子上三条pcie3.0 x16, 三条pcie3.0 x8 和一个m2接口. 带有IPMI管理. 单从pcie插槽规模上看, 虽然没把epyc的 128条pcie拉完, 但从价格考虑, 可以说是性价比较高的一个主板了. 咸鱼上1300买的. 前后买了四个

从卖家了解 该主板是挖矿因为有缺陷(只能上八条内存) 所以被矿老板换下来的, 虽说是矿渣. 到手橙色不错.

超微H11SSL

内存四条4G DDR4 ECC REG 2400频率, 毕竟便宜. 而且做NAS也不吃内存性能.这个也没啥好看的就不上图了.

接下来是硬盘部分(小姐姐的house)

PM963 960G 均价500一条买的四条, 三星企业级OEM固态,速度和稳定性多少都会有保障 , 由于是22110长度, 比较冷门, 所以售价低. 垃圾佬最爱

P3600 800G U2固态 四块, 是一位大佬借给俺用的. 所以0花费.

每个都是nvme ssd, 都要pcie x4的通道, 这里就呈现出amd epyc的无敌pcie通道的优势了. 都上pcie16拆四个m2 和u2, 占用两个pcie3.0 x16的通道

这个华擎 m2 拓展卡 450买的, 主要看中这个铁外壳,保证散热,且能上22110, 排布目前我觉得最合理的, 可以使每个m2接口都距离pcie最近

U2 拓展卡, 淘宝上 380元买的, 没多少选择.

接下来网卡也是很关键的一部分, 也是最容易省成本的地方.

这里选择的是544+和 CX341网卡, 如果看过我之前的文章就知道这两个超高性价比的网卡. 为了避免有些人不明白, 我继续搬抄我之前的话

544+ flr网卡, CX3 PRO核心 , 速率40/56G, 购入价格80块钱, 配合转接卡成本110元一张

544+ FLR

CX341网卡, CX3 核心, 速率10G , 购入价格25元, 自己改双口万兆 ,配合转接卡成本40元一张, 没单独拍照就不放图了.

平台采用了一张544+和三张cx341. 544+用一个40G口, 三张万兆网卡用六个10G口. 加起来差不多是100G的速度, 网卡部分成本230元. 当然你也可以选择一两千的100G ETH/VPI网卡.

其余部分就不多说了, 机箱用的开放式机箱方便做验证, 电源临时用的矿龙, 最后换成超微服务器铂金电源了. 散热器用的金钱豹4U散热器, 系统盘用的傲腾800P M2 SSD.

软件篇

BIOS部分很简单, 进去把U2拓展卡和M2拓展卡对应的pcie插槽部分改成x4x4x4x4模式, 这样每个硬盘就可以在系统里认到.

系统选用的是Windows server 2019, 至于怎么装系统, 百度随便搜就有一大堆教程. 这里不多废话.

网卡虽然是不同厂商的, 但都是用mellanox核心的, 所以我们只需要到mellanox(nvidia)官网里下载对应版本的winof驱动程序, 直接装上去重启即可.

然后在我的电脑里面给打开共享, 默认开启RDMA模式. 不需要更改命令. 也不要乱动, 一碰可能会导致RDMA模式消失. 要重装驱动甚至重装系统. 其实我也不太了解RDMA的原理, 只知道牛逼就完事了.

有人问我交换机怎么接? 这个确实是好问题, 我用的我去年500买的SX6012 12口40G/56G交换机, 背板宽带我记得没错是1.2T/s ,下面部分都拆分四个10G

SX6012 web页面

平台接线部分:

一条40G DAC线插上去, 两条40G 分四个万兆的线插六个口上去, 全部接到交换机上, 上面提到计算是 40+6*10 = 100G, 所以说是100G NAS其实也没毛病的.

看到这里可能就有人不服, 这算个啥子100G NAS, 别急, 我先上数据

这个是win自带的性能监视器, 里面可以看到网卡速率和SMB server的速度, 先看上面的, 一个40G, 六个10G基本都快打满端口速度了, 下面SMB server 速度是9408676864 Bytes/Sec, 注意单位. 换算下来是这个速度

当然里面也有个小插曲, 这个40G网卡跑了很久后我才发现运行在pcie x4模式下面, 难怪一直卡在37G这个速度上不去, 拆开发现是转接卡问题.

可能会有些人很好奇达到100G这个速度, 会不会很吃CPU性能, 这里直接放图.

在任务管理器我们可以看到占有率在50%左右, 后台开的也不多, 一个web服务器, 一个代理. 左边显示硬盘速度都是外部SMB访问的速度. 也就是说SMB在开启RDMA的情况下, 并不会占用太多CPU性能, CPU负载主要是在访问硬盘IO (读硬盘也会占用CPU一部分性能).

其实一代epyc 正式版也是能超频的, 这里经过我的实测默认就够用, 考虑到稳定性就没选择超频使用. 否则这个CPU负载还会再降低些. 我个人保守估计, 这台NAS应该可以带到200G速度, 不过暂时没这个需求就到头了.

内存部分, 图上是32G, 因为占用率极低后期被换成16G内存进一步节省成本

总结

综合下来核算一下成本, 不算固态+转接卡的成本大概是: CPU 500元, 主板1300元, 内存 90*4=360元, 网卡110 + 40*3 = 230元, 电源 80元, 开放式机箱 30元

总计 刚好2500元

就可以实现100G 家用NAS,

这是垃圾佬的一种精神, 追求极致的性价比

捡垃圾的价格, 企业级的性能甚至稳定性.

你学废了吗?