J1900的接班人-C236+5212m4硬盘笼+3008直通+pve直通+truenas迁移

背景：一代传奇nas王J1900经过这么多年的考验终于下线了，但原因并不是故障或者损坏，单单是因为扩展不足提前更换了。服役期间从未掉过链子，做单个应用挺好，省电加安静，为了给还没到来的小姐姐腾空间，提前升级大别野了。

阅读提示：吹水和思路分享在前面，实操请直接跳转。文章很长很杂，谢谢观看！

原配置：j1900+8g 板载5个sata口：3个14t硬盘加1个固态。电源是普通 PC ATX 500W电源（人人喊打的大水牛服役了两年基本7x24h，真没啥问题。）

新配置思路：

硬盘未来可能会一直增加，不可能全部直连sata口，板载的不够用，即便是用PCIe扩展也不现实，因为电源不够用，普通的ATX也没有这么多sata电源接口。对于只存放小姐姐的仓库，全闪是不现实的，量大管饱的选择还是二手服务器氦气盘。

所以一直在寻找一种能够级联多个硬盘，提供供电的方案，研究下来只有服务器方案是比较适合的，但是直接购买一整台服务器也受不了噪音跟功耗，所以需要一套“存算分离”的方案：HBA直通卡或RAID直通卡+sff-8643数据线+硬盘背板+服务器硬盘笼。这就是“存”的方案。

新配置要选什么好呢？这个问题从J1900上线以来一直思考，如果不是all in boom，只家用存储的话J，N系列都完全足够了，12代的N100和N305一直没有好的性价比所以也不在范围。

如果要玩工作站级别的主板，有一个玩的比较多的是超微的X11系列，相信大家都听过X11SSH-f这个型号，之前考虑过但是价格劝退了，但是在今年却发现已经来到了200块钱，搭配一颗8，9代CPU，这就非常性价比了。咸鱼转了一圈，发现本地有一张微星的C236A大板，自提还送机箱电源，这不捡漏？直接拿下！这张板子有6sata+3PCIe x16+1m.2，但是对比超微少了ipmi，看在扩展性的份上这点可以忽略了。

CPU之前剩了一颗8600t，需要对主板魔改，这点也可以拿来讲讲，还有8100t，e3-1235lv6等大众脸可以推荐，胆子大的同学可以看看魔改的ES，或者BGA改LGA的魔改。手上如果还有100，200芯片组的也推荐魔改上8，9代CPU，如果再往上可以看看12代intel。

内存方面因为会用到zfs，直接16g四根拉满，目前ddr4的性价比也还算可以，总计600拿下。合计CPU280+主板200+内存600≈1100块，得到了一套6核+64G“算”的方案。

总结下来：

1. sata口不可能全部直连主板，但需要增加更多sata口-->HBA直连卡+硬盘背板。

2. 普通PC电源不能满足sata电源接口数量-->服务器硬盘笼。

3. C236性价比和扩展性都不错，不知道选什么就超微。

这样下来，基本上是一套普通PC+硬盘笼即可满足扩展需求，目前上限是8盘且可继续增加直通卡来增加数量。万能的🐟上有大量硬盘笼库存，经过一顿研究，选择了比较多的打法：浪X的直通卡加硬盘笼。关键词：5212m4，3008直通卡。加数据线和硬盘托架一套下来200块，对比了一下前两年的价格，当前也算入手的好时机。

但是这一套方案对于我来说是从硬件连接到软件调试完全陌生的，上手难度还是有一些，感谢值友和互联网和AI的帮忙，历时半天搭建完毕！下面开始介绍：

硬件连接：

1.硬盘笼和背板已经组装完毕，硬盘插入即可，用一下🐟的图片：

硬盘笼正面

硬盘背板

这里的供电我只插了一个，等未来扩展的时候再购入另一条吧。我买的是sata电源口的，这点需要跟商家确认，有大4D或者显卡供电转接的方案。这一个设备是原来服务器上拆下来的，会有散热问题，需要自己购买风扇或者买成品适配散热器。

3008直通卡插PCIe槽，8643线连接至硬盘背板。这里散热选择了朴实无华的intel原装，好用！其实我在考虑要不要换一个360水冷，冷排放硬盘笼上面或者背面同时实现散热（未完成）。总的来说拿到手基本上能装，但是开机调试才是重头戏。

开放式机架

软件调试

坑很多，一个个来分享：

1.魔改主板BIOS及改装CPU，工具合集：合集下载

8，9代CPU魔改风潮在如今仍然还在刮，但是很多资源失效了，这里提供一下魔改的方法：

• 一键魔改工具或者coffee time0.99手动修改：这两个工具在B站都有视频教学，都是基于官方BIOS来手动修改，相对于之前直接二进制修改BIOS文件那要好了不少，如果没找到官方的文件，就要自己提取主板BIOS修改了。

• D大提供的众多型号成品BIOS：互联网还是善人多，如果你的主板刚好在合集里面，恭喜，直接在BIOS设置内刷入即可。感谢D大，为了防止资源失效自己转存了在合集里面。

软件修改完成了还需要硬改CPU触脚，搜CPU护舒宝可以购买配件，不过还需要搭配一副火眼金睛，改完完美开机使用。

眼睛好花

2.直通卡的调试

此处真是难到人了，一个是涉及到服务器硬件相关的资料少，型号各异。二个自己从来没接触过，担心通不了，但是在云学习之后盲买的这套设备还是搭建起来了。

直通卡有有一个很反直觉的特点，就是自检画面会在BIOS画面之前，当然我不懂运作的原理会觉得说很反直觉，所以才开始的时候一直以为系统自检过了卡在这，就老想重启然后猛击del进入BIOS设置。但其实是要等直通卡加载检测完硬盘，才会跳到BIOS画面。此处也可以检查硬盘是否连接完成，如果成功会显示所有连接的硬盘。另外推荐去BIOS设置检查一下是否优先使用了核显，遇到了几次没有视频输出的情况，不知道是不是不支持无视频启动还是启动了只是我以为没启动。

直通卡需要科普的一个点是IT，IR模式（在sas3flash.efi -list或者BIOS设置里面可以检查）：

IT是直通卡只负责直通硬盘，相当于集合了数据接口并转发。

IR是直通卡还需要组RAID之后再转发给系统，也就是硬RAID形式，这样系统会识别这几个硬盘为一个RAID设备。一般这个模式用的很少了，因为软RAID的性能也上来了，硬RAID增加直通卡的负担。

直通卡也是有自己的一套BIOS，所以可能会产生混淆，以下如果没有提到主机BIOS皆为直通卡的BIOS固件。

我遇到的问题是直通卡自检很久，并且提示Unable to load Avago Technologies MPT BIOS，或者是提示了BIOS版本信息但是一直加载不出来自检情况，后来又是一顿学习，把卡刷了新的固件解决了，所以这又是另一个坑，直通卡的固件烧写：

这里也参考了值友和网络的教学，主要参考这篇，这篇，分享我的大概过程，详细的请参考前面链接，文件地址下载：

• 拍照记录背板信息

• 使用rufus烧写U盘为freedos（有uefi shell可免）

• 复制文件到U盘

• 启动进入uefi shell

命令如下：

• map#找U盘盘符

• fs0:#切换U盘目录

• sas3flash.efi -list#查看直通卡信息（最好手机截屏）

• sas3flash.efi -o -e 7#擦除直通卡所有内容，包括sasaddress

• sas3flash.efi -o -f SAS9300_8i_IT.bin #烧写固件

• sas3flash.efi -o -b mptsas3.rom #烧写Legacy BIOS 驱动固件

• sas3flash.efi -o -b mpt3x64.rom #烧写 UEFI BIOS 驱动

• sas3flash.efi -o -sasadd #前面截屏就用到了，直接不带连字符输入sas地址，以下两条都是，没有就不输入

• sas3flash.efi -o -assem

• sas3flash.efi -o -tracer

因为没有截屏只能大概描述过程，有的说只刷写固件就可以，但是鉴于我的情况我直接三个文件都写入了，另外教程中提到在最新版本下，关机磁头不归位的问题得到了解决，所以推荐还是都刷写一下。

操作到这里的时候已经很心累了，因为之前已经装好pve了，每次都是拔来拔去以为直通卡没生效，刷固件之后自检变快，进系统也正常了，但更心累的还在后面，因为这只是硬件通过了，软件还不知道硬盘是否能连接到系统。

pve直通可能会遇到一些问题，也分享下直通教程：

• 检查BIOS VT-d是否开启

• nano /etc/default/grub #编辑添加启动选项 GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on"

• update-grub

• nano /etc/modules #添加vfio vfio_iommu_type1 vfio_pci vfio_virqfd（一行一个）

• reboot

我之前使用的是truenas，三块硬盘都已经是组pool的状态，所以进直通之后是无法查看到设备的，有一些命令可以查看到硬盘信息，但是类似于fdisk是看不见的，直通卡可以用lspci来检查。所以接下来的坑，就到了truenas迁移。

Truenas迁移

truenas就是典型的用的时候很爽，但是扩展或者迁移的时候就头大的东西。作为存储服务来说我觉得非常稳定好用，但是也在扩展的时候也遇到一些头大的问题，需要好好的学学zfs相关知识，在这我只介绍此次涉及到的内容：

硬盘组成pool的时候是无法直接识别的，我在新的pve上创建了truenas虚拟机，直通了3008也成功识别了，但是无法正常导入pool。

折腾半天破案了，需要在原来的系统上export/disconnect pool，让这个pool脱机后才能成功迁移，而且迁移的时候有可能系统会需要另一个pool来转移数据，另外也把所有的dataset删掉了，于是我又把J1900通电操作，一番操作显示pool busy，又找了半天，发现后台自己挂的一个程序还在占用，kill掉终于成功导出。此处命令 lsof -i |grep pool名称。

导入倒是意外的顺利，import pool马上成功了，说到底还是自己本领不过关，多学多练！！！

pve迁移

就当我觉得马上到尾声的时候发现插的SSD有点太小了，再多两个虚拟机基本上不行了。于是内心一慌：不会pve，又得重装吧？硬着头皮把原来另一台已经装了pve的SSD插上，你别说自适应能力还挺强，一次就进了系统，但是发现webui进不了。路由器一看ip不见了说明系统压根没连上网，实机检查发现网口是down的，可能是换了主板网口变了，于是又学习如何更换网络接口：

• ip link show#检查网络链路

• ip addr show#检查接口信息，记录新网口接口名称

• nano /etc/network/interfaces#修改网络接口，以及虚拟网桥绑定的接口

• systemctl restart networking#重启网络服务

一通操作，成功了！至此truenas存储服务恢复，pve系统连带虚拟机也直接迁移了过来，另外补充一点，已经装好的truenas可以备份导出直接在老pve上恢复，注意调整内存。

最后分享一下功耗：小米插座（路由器加这套设备）记录的待机功耗是85w，此前是1.3度每天，估计如果是7x24应该要增加一倍的功耗，后面等数据更新再分享了。

pve

truenas

经历了这么这么多大大小小的坑，倍感心累但是且快乐，利用几十上百块的配件超额完成任务，这不就是垃圾佬所追求的性价比最大化啦。坏处嘛，就是折腾的过程需要反复查阅互联网排障所带来的心累，不过好处不是又多学了很多知识嘛哈哈！

本文主要是流水账记录一下自己这两天干了啥，同时也分享一些思路给网友，因为是从硬件选型到软件调试，文章内容太多太杂，感谢看到这的朋友。教程因为篇幅问题不会写的很详细，需要的请参考文章内引用的详细教程，结合自身情况操作。希望这篇文章能给你一点点的帮助，那就足够了！