有容乃大,群晖NAS数据迁移1618+
2016年把Orico 阵列盒整成NAS,容量从8T增到20T,原本以为可以撑上个三五年,没想到HIFI烧久了不仅钱包越来越瘪,NAS空间也飞快地瘪下去。每每看到网上那些DSD128 DSD256 高格音乐,总是心里一紧……
x NAS快爆掉啦!不能收
o 这可是名盘重制,经典演绎版本
x 再扔进来A9照片都丢不下了。。。
o 没事,去删点小电影吧
x 大哥。。。有小姐姐么?删空气?
o 给你换房间!
重要说明:头图背景是摄影网站上的作品 不是动作片截图 看歪进来的请出门转弯
一、打了年把的算盘
其实扩容的想法从去年开始就有,只是事情太多一直懒得折腾,删删减减缝缝补补又一年。这次折腾初步想法还是容量翻倍。群晖两年用下来非常满意,稳定性超高,这次升级不换门,也继续坚守RAID5。
方案1:DX517 + 5*6T,约42T;
方案2:5*10T,约35T;
方案3:6*10T + DS1618+,约44T;
方案4:6*10T + DS1817+,约44T,可扩至63T。
方案1 优点是省钱折腾少,缺点是设备多一坨增噪音;
方案2 优点是不增体积,缺点是容量增加偏少;
方案3 优点是可以刺激GDP,缺点是性价比低;
方案4 优点是扩展性好,缺点是投入最高体积偏大。
1. NAS机型选择
NAS放在客厅角落有点拥挤,增加设备后噪音也会增加,先枪毙方案1。本来倾向方案2,结果看到1515+拆出来的“惨状”后就倒向了方案3和4。。。。
本想上1817+给未来留下2个硬盘位,想着放NAS的角落有点挤。接着发现17系列(1517+、1817+)还在用被爆有bug的 Atom C2XXX,虽然可能是新的步进,但心也是凉凉的。
“Intel确认部分Atom C2000处理器存在一个致命BUG,具体来说就是设备会随时间降低时钟信号。而时钟信号降级影响了处理器执行任务的能力,导致服务器效率大大降低,甚至造成网络瘫痪和变砖。为此,Intel先是上线了C3338处理器,后续以C0步进的C2000同型号替代老款BUG芯片。”
▲有玩家在Docker上跑的Geekbench,18系列单核性高30%,多核高50%
真的论性能,原来的1515+性能也够用,但谁会拒绝更好的性能呢,如果不是价格太高都想上3018XS
双十一前后遇到1618+好价,于是下单了性价比最低的方案DS1618+
2. 选硬盘
由于WD一如既往地稳定,这次原计划上金盘10T,但是找朋友拿的时候正好缺货,只有 HC510和希捷的。对希捷一直没好感,那就HGST吧,还是充氦的,不觉明历只觉犀利得紧~
顺便八下 HGST 的坎坷命运:
IBM(就是那个你知道的IBM)也造硬盘而且非常牛,实际上硬盘就是他们发明滴,想当年第二台电脑还是他家20G玻璃盘;在2003年被小日本吃下,变成了HGST(Hitachi Global Storage Technologies);到了2011年,对企业级市场野心不小的WD吞掉HGST,如果不是在服务器市场HGST更吃香,估计HGST这牌子早就会被WD丢掉。
再来看看Blackblaze最新的硬盘年化故障率表:
至于价格,猫啊狗啊上的也就参考个大概吧~
▲小窍门:RAID后顺序不能再更换,可按硬盘SN排序插入,防止出现取出多块硬盘却忘记顺序的惨案发生
二、DS1618+闪亮登场,加内存和SSD缓存
1. 加内存
▲ 17系列的主板和18系列不同,内存插槽排列也不同,而且必须先插Slot1才能开机
2. 加装SSD
15系列机器加SSD缓存要占用一个硬盘位,17 和18 系列则给了个单独的 PCIe 扩充插槽,可扩展M.2 SSD卡或10G网卡。正好手上还有根换下的950 Pro SSD,撸块M2D18回来试试。
▲SSD扩展卡有M2D17 和 M2D18两款,后者支持NVMe
这里又给出了另外一个不选DS1817+的理由,17系列用不了NVMe。还是老话题,也许性能过剩,但这就像储蓄,可以不用但是有更好。
按照官网的介绍,SSD缓存还是比较适合我这种大容量音乐库、照片库的用户(经常检索),值得尝试。
Synology M.2 SSD 适配器 M2D18 旨在提升 NAS I/O 性能,可显著降低随机 I/O 延迟,从而使诸如照片索引、文件搜索和虚拟化环境等应用程序受益。
启用 SSD 缓存的目的是提高存储空间中经常访问的小部分数据的随机访问性能。例如,大量连续读取或写入操作(例如,高清视频串流)和完全随机数据读取模式都没有重读模式,这样就不会从 SSD 缓存获益太多。
▲ Gen3 x8 的 PCIe 插槽,17系列则是Gen2 x8
下面先倒叙贴些SSD主要配置步骤
▲存储空间管理员 - SSD缓存 - 新增。单SSD只能选只读缓存
▲在Auralic 的Lightning DS 里一搜索,SSD缓存开始干活,搜到了就停。缓存使用量会根据使用情况变化。
这里顺便晒下马老师家淘的防尘盖。看到1515+的“惨状”后去用“群晖 防尘”关键字搜了下,6盘位的不多,2盘位和5盘位的居多。撸了一套回来试试。
▲前面板一块,还有不少边边角角、侧面、底下的贴网,USB塞子只有一个
加网不可避免会减少进风量,目前室温18左右,硬盘温度而没有升高(30-32度之间)。如果实在不放心,在天气转热的时候拿掉就好。
三、数据迁移方案选择
换新NAS,最要紧的就是数据迁移,也是写这篇文章的初衷,记录一下更换NAS中数据迁移环节。参考群晖KB的几篇KB(话说群晖的KB还是比较强大的,内容非常丰富)拟了几个方案。
▲该文要义,主要是介绍HDD迁移和Hyper Backup 迁移两种方法
综合上面几篇KB文章介绍,初步确定了5种数据迁移方法
1. HDD迁移+增换
(1)将1515+上5块硬盘按照原有顺序插入1618+;
(2)完成DSM安装并恢复系统设置;
(3)在1618+第6个slot插入10T新硬盘,并在存储管理器中添加硬盘;
(4)将1618+上一块旧硬盘换成10T新硬盘,并修复;
(5)重复步骤4直到所有硬盘都换新。
2. Hyper Backup
Hyper Backup 和 Hyper Backup Vault 是群晖自己开发的软件,通过网络(局域网和互联网皆可)将源NAS上的数据备份至目的NAS,然后在目的NAS上把备份过来的数据恢复到本地,一共两步操作。
3. 拷贝法
设置好1618+,用电脑把1515+上的数据拷贝至新NAS。
4.外挂法
用eSATA线把1515+作为DX517这样的扩展设备,挂到1618+上拷数据。是否可行后面见分晓。
5. 共享文件夹同步
系统内置功能,可将共享文件夹从1515+ (来源)同步至局域网或 Internet 上的目的 NAS (1618+)上,和Hyper Backup 不一样,只是一个单向的过程。
第一次进行同步时,共享文件夹同步功能会将所选的共享文件夹进行完整的同步。之后则会仅同步文件修改过的部分。在来源端删除的文件,在目标端也会被删除。
▲邻居新入的1517+(8T x 5 SHR)来拷数据,顺便上面几个方案都试试
四、漫漫数据迁移路
网络环境:1618+ 链路聚合连AC88U,1517+ 单1G连。
方案1. HDD迁移+增换
▲把1515+上硬盘按照原顺序从左到右转插到1618+(第六个盘位暂空)
▲浏览器 find.synology.com,查到新NAS后开始迁移
▲选第一项合并,按照提示安装好DSM。切记,如提示数据删除要立即中止,换用其他数据方案
▲重启完成后需用原IP进去系统,所有数据、设置都在,多出一个插槽
▲关机,在第六个插槽装入新HDD,再开机。存储空间管理员 - 存储池 - 动作 - 新增硬盘
新增硬盘,系统应该就是把其他五个盘上的数据和校验匀到新硬盘上。只是如果每个盘都要这么多时间必须吐血到死 后面还得重复5遍换旧硬盘的操作。。。
开机后机器滴滴叫,说实话这会儿还是挺紧张的,万一恢复不成功导致阵列挂了那就惨大发。之前有值友在评论里声称大容量下RAID5 几乎无法重建,虽然我不认可但说一点儿都不紧张那也不可能。
▲不知这位值友基于什么下此结论,如果RAID5都无法重建,群晖如何敢出来混,那些服务器又该怎么混?
点完修复后NAS立即安静下来开始干活,这次更换“只”耗时14小时55分钟……
新增第1块盘耗时 37小时27分钟,
更换第2块盘耗时 14小时55分钟,
更换第3块盘耗时 21小时21分钟,
更换第4块盘耗时 13小时整,
更换第5块盘耗时 13小时10分钟,
更换第6块盘耗时 10小时45分钟,硬盘增换完成,共耗时110小时38分。
这一检查又是8个多小时,数据迁移终于全部完成 整整过去了6天。
小结1:新增、更换共耗时118小时48分,原以为这是最耗时的方案,但实际上并不是,这是包含了数据迁移和建新RAID的时间。综合来看,这个方案对系统配置复杂的旧NAS更新、新NAS空间不足(可用空间未超旧NAS数据量2倍)、不更换NAS只换硬盘等情况都比较适用。当然凡事无绝对,有些情况下也不适合,如比如迁移的同时要保留原NAS数据的。这个方案数据迁移完成后存储池肯定损毁。原因很简单,数据条带和校验在硬盘增换的过程中不断改变,自然无法复原。
方案2. Hyper Backup
邻居的1517+设置好后搬我这拷数据(音乐和电影),其中音乐用这个方法测试下速度,顺便估算如果我的1618+数据迁移采用这方案大概要多久。
▲两台NAS都启用rsync,目的NAS装Hyper Backup 和 Hyper Backup Vault
▲源NAS上运行Hyper Backup,备份向导 - 远程NAS
▲11多T备份耗时近35小时(未校验),均速97.4 M/S,第一步完成
▲然后在目的NAS里,运行Hyper Backup, 取消向导后点下面恢复图标 - 数据
▲恢复比备份慢很多,耗时55小时32分,均速60.8 M/S
完成后可以删掉备份。11.6TB数据,备份、恢复两个步骤共耗时90小时26分钟,总的算下来均速37.4 M/S。
小结2:虽然倒腾了两遍数据,但最终效果就是数据从一台NAS复制到了另一台NAS。如果按自己系统19.1T数据估算,全部迁移得150个小时打底,还要再加上配置新NAS时间(新建RAID后一致性校验是耗时大户),很可能是最耗时的方案。和方案1相比,最大的优势就是旧NAS数据完全保留。Hyper Backup 作为群晖自己开发的备份专业软件,用其进行数据迁移只是利用了其中的一个功能,我们应该更关注它在备份方面的强大之处。
方案3. 直接拷贝
新机器设置完,Ctrl+C 和 Ctrl+V 就开工,实在不能再简单了。如果有点追求也可以用下FastCopy
用网线连路由器,速度也没好多少,也就50M多,阵列重建完成后再连网线试了一次,速度还是上不去。KB中提到的通过浏览器拖拽,不仅文件大小有限制,浏览器万一崩了也得哭死。
小结3:简单的系统小数据量可以这么干,不费脑细胞。
方案4. eSata外挂法
群晖没有明确说明一台NAS能否作为扩充设备挂到另一台NAS上,KB里只有一篇《哪些 Synology NAS 型号可以与 Synology 扩充设备搭配使用》的介绍,详细列出了扩充设备的兼容性。
撸来一根eSata线,把1515+和1618+连起来,然后1515+不联网开机。全完木有反应。。。一点戏都没 咨询群晖工程师,答复是eSata是给扩充设备准备的…
小结4:本该是速度最快的数据迁移方式,无奈不可行。如果可以在系统里加上切换主设备和扩展设备两种模式,那就更方便了。
方案5. 共享文件夹同步
控制面板 - 文件服务 - rsync 启用
控制面板 - 共享文件夹同步 - 任务列表 - 新增
▲设置目的NAS的IP和账户密码,可以点下面的测试联机看看是不是ok
小结5:这个方法相比方案3可以不用开着电脑。相比方案2省了一个环节,按照速度估算也不会慢,旧NAS数据也能完全保留,可以看做是Hyper Backup的简化版,只是同步过程没有进度显示,大数量时难免令人心焦。
除了以上几种方案之外还有其他数据迁移办法,限于时间精力没能试验。一些表述如有不当也请见谅。
五、感慨万千
有容乃大,容量才是王道!折腾完后悔没有买更多盘位的机子和更大容量的硬盘 下次再要扩容的话,估计会买台DX517挂上去省钱省心。当然,住另刂里予土不差钱的还是地下室搞个机房上机架式吧,比如RS3618XS+12*14T=154T 最后照例摆开架势简单说说群晖几年用下来的感受。
优点:
● 稳定可靠,RAID5重建安全靠谱;
● DSM易用,软件生态系统完善,移动端APP完善;
● 风道设计合理,内部不至于被灰尘全面攻陷。尾部风扇清理和更换方便。
缺点:
■ 价格高,价格高,价格高;
■ 部分软件UI还有进一步改进空间。
水寒
校验提示文案
值友7405231223
校验提示文案
aak47
校验提示文案
wycs45
有几个疑问请教一下
1.迁移数据的思路可以这样吗?就是说我现在有一台两盘位的,没有做RAID,里面就放两个8T盘,数据总量大概12T,这个时候如果我再买一台1618,然后买四块新盘,那么我可不可以先往1618里放这四块新盘,做好RAID5,新盘做RAID应该很快的,然后两个NAS连起来用hyperbackup把资料传过去,最后把旧NAS里面那两块盘格掉,放到新NAS里,就当扩充RAID5阵列,不知这样是否可行啊?
2.使用hyperbackup过程中可以使用链路聚合增加速度吗?前提是两台都支持链路聚合的话。HGST的写入速度应该可以达到200+吧?
3.1618应该是可以扩展万兆的吧,我在想如果在两台都可以扩展万兆的NAS之间互传数据,那是不是可以更快呢?
再次感谢大神写这么好的文章,简直是福音啊。
校验提示文案
Yaoki
校验提示文案
hrbagang
第一步时,文件不是都已经拷贝到目标nas里了吗?
校验提示文案
作死的鲨鱼
校验提示文案
lazyou
校验提示文案
兔毛楼
校验提示文案
stille
校验提示文案
xiaoxiaoyu2008
校验提示文案
AohuaZ
校验提示文案
只要可爱就行了
校验提示文案
Perlman
校验提示文案
ruan239168
校验提示文案
我是江湖人
校验提示文案
多想大声说
校验提示文案
AohuaZ
其实不着急的话,插一个新盘到旧机器,开个新存储池,同步了机器配置。然后新硬盘放新机器,同步配置之后新机器挂上所有的盘。然后插上网线慢慢拷,应该安全很多
校验提示文案
AohuaZ
校验提示文案
Be_a_better_man
校验提示文案
Abyss_Walker
校验提示文案
bentony
校验提示文案
yushanli
校验提示文案
toyli
校验提示文案
一自夂616
校验提示文案
KennyYoung
实测更换硬盘顺序并不会对Raid有影响, 拔掉某块的话是会降级需要修复。
对于数据转移部分,其实可以双机同时开SMB3.0直接拷贝啊, 20多T, 按照理想状态也就十多个小时就能拷贝完
我试过6个4T Raid5重建, 还好, 也就十来个小时
校验提示文案
wycs45
有几个疑问请教一下
1.迁移数据的思路可以这样吗?就是说我现在有一台两盘位的,没有做RAID,里面就放两个8T盘,数据总量大概12T,这个时候如果我再买一台1618,然后买四块新盘,那么我可不可以先往1618里放这四块新盘,做好RAID5,新盘做RAID应该很快的,然后两个NAS连起来用hyperbackup把资料传过去,最后把旧NAS里面那两块盘格掉,放到新NAS里,就当扩充RAID5阵列,不知这样是否可行啊?
2.使用hyperbackup过程中可以使用链路聚合增加速度吗?前提是两台都支持链路聚合的话。HGST的写入速度应该可以达到200+吧?
3.1618应该是可以扩展万兆的吧,我在想如果在两台都可以扩展万兆的NAS之间互传数据,那是不是可以更快呢?
再次感谢大神写这么好的文章,简直是福音啊。
校验提示文案
pan985
校验提示文案
zhangxiaoyao
校验提示文案
值友1281683132
校验提示文案
盛极而衰否极泰来
校验提示文案
fabulouSNerd
校验提示文案
Jack_Another
校验提示文案
点万
校验提示文案
hehe123qwe
校验提示文案
stille
校验提示文案
兔毛楼
校验提示文案
大鱼大肉
校验提示文案
aak47
校验提示文案
lockct
校验提示文案