【NAS】个人硬盘数据备份策略总结
前言
在可靠这件事上,最可靠的就是没什么事情是可靠的,这就是残酷的现实,而人们一直都在想办法去抗争。
个人数据如何保存不会丢失?说来说去,唯一途径就是:备份
以空间为代价,来让不可靠的东西变得相对可靠。
备份越多,数据越安全,然而成本也在直线上升,那么到底备多少份,可以达到成本和安全的一个平衡点呢?
答案是:3
由此,来看一看备受推崇的3-2-1备份策略
3-2-1 策略的意思是,你的文件至少有3个副本,其中2个副本存储在本地的不同介质上,另外1个副本存储在异地设备上。
3-2-1备份策略并不完美,却是很多企业采用的,一些特殊场景需要灵活变成4-3-1策略,4-2-2策略,6-3-3策略等
然而,那是企业级,作为个人,是否要遵循3-2-1策略呢?3-2-1策略要如何执行呢?
个人数据分类和对应备份策略
我们每个人情况不同,自然不能一概而论。但有一个前提是:需要分析自己的数据并分类。我个人提供三个维度:
1、冷数据和热数据
2、重要数据和普通数据
3、多媒体数据和其它
冷数据和热数据
经常可能访问的数据是热数据,不经常访问的数据是冷数据。
一个特点就是,热数据量往往很少,冷数据量往往很多。热数据是当下,冷数据是过去。
重要数据和普通数据
重要数据是很难获得的数据,例如唯一性,丢了再也找不回来的;或者获取难度大,例如你花了大量时间全网收集的或处理过的
普通数据就是获取难度低,随便一搜或花点小钱就能重新获得的
多媒体数据和其它
多媒体数据如:视频、照片等,特点是体积大
其它如:文档、密码、票据、账单等,特点是体积小
经过分析可以发现,占用空间最大的往往是没有太大价值的视频(为表示方便就用视频代替这类数据),而真正重要的数据往往不需要太大的空间。所以我的策略是:
1、视频几乎不备份,只保留本地一份,甚至空间不够了还要删除
2、视频中有价值的部分,例如个人花时间整理的、花时间剪辑的、网上很难搜索到的视频,包括个人家庭照片视频等,都只备一份
3、非常重要的数据,一律执行3-2-1策略
4、热数据采用两种方式:一是购买移动硬盘随身携带;二是使用NAS远程存取
来看看我具体是如何执行的
一、视频不备份
不备份的意思是:只保留一份。
这种数据我会采用“回收站”机制,防止后悔误删。一般转存到115网盘,容量70T。
115是是我个人数据的一项长期投资,用于备份,其它例如BT下载的视频我都直接放在115
二、重要的视频双备份
例如我的家庭照片、视频等,一年增长不过100G,10年才1T,不构成瓶颈。关键在于自己剪辑的视频,花精力收集并整理的视频,这些需要备份。目前用量不超过2T,未来不超过8T
我这里采用双备份策略:NAS一份,115一份
这里是自动的,核心就是NAS,我只要自动同步到NAS,以NAS为跳板可以自动同步到115
三、非常重要的数据
这部分数据非常重要,但通常占用不大。我采用3-2-1备份策略,电脑本机一份,NAS一份,115云盘一份。
经过我计算,自己非常重要的数据通常不超过100G
注意,这里3份多出的一份是电脑自己
四、热数据和冷数据
这里我分为最热数据、次热数据、热数据,最后是冷数据
最热数据:就是手头正在用的;
次热数据:未来半月内随时可能要用的;
热数据:未来2个月可能要用的
冷数据:超过2个月的数据基本不可能再用了,作为冷数据
这个维度像xy坐标后的又一个z坐标,最热数据可能还没来得及备份,冷数据也不代表不重要。这里我引入了缓存机制:移动硬盘。
移动硬盘就是一个中转站,随身携带,容量4T。
最热数据我的mac电脑有TimeMachine机制有本地TimeMachine也有20多天提醒我备份的TimeMachine备份,理论上无须担心。而且我有办法在外地连接NAS远程TimeMachine备份,TimeMachine是连上硬盘后就自动执行的增量备份机制,整个过程可以自动化,无需我操心。
次热数据和热数据,我全部优先转移到移动硬盘,一些暂时不能决定是否重要的数据也存入里面,当容量不够的时候才会做一次大转移。一般两个月以上,我可以清楚的区分哪些是冷数据,哪些又是冷数据中重要的数据。
综上,虽然数据分类看起来有点复杂,但我的备份结构和操作逻辑却很简单:一台电脑,一台NAS,一个网盘,外加一个移动硬盘。
有人问,这四个设备,互相连接的逻辑看着有点懵。这里我解释一下:
其实最重要的数据或比较重要的数据,无论3备份还是2备份,我都只做一件事,就是同步到NAS就够了。那如何区分3备份和2备份呢?
无论2备份还是3备份,我都是同步到NAS,NAS自动同步到115,2和3的区别在于,我本机电脑上是否还要保存一份,由于我用的同步工具是增量备份模式,本地我删了不会影响NAS的数据,所以当我想删除占用我电脑的文件的时候就是2备份,我不想删不能删不愿意删的都是3备份,看我心情,随我心意,不用很严肃很费脑子。
对于不重要的数据,我更是从来不刻意去备份,什么时候觉得乱了,空间没了我才把它们挪到移动硬盘或上传到115,属于被动触发机制,我不用主动费脑子。
最后是冷数据冷备份,依然是被动触发机制。当我移动硬盘或NAS空间不足的时候,才想起把不用的东西做一次冷备,依然不用动脑子。
同步工具见下面,这要说的是同步工具在电脑上是开机自启且一直运行的
同步过程出错怎么办,同步工具推荐
复制不能保证可靠,需要额外的数据校验。例如你电脑上的数据是正确的,但你拷贝的时候出了错误导致你备份的数据就是错的,那一个错误的备份有什么意义呢?这就是“同步过程错误”,如何解决?
此时,你需要一个在同步的时候,就帮你校验的工具,这里推荐:
1、rsync
2、freefilesync
3、syncthing
rsync 是一个 Linux 命令,用于本地文件的同步,默认不做全面校验,但使用 -c 这个参数以后,则判断文件内容的校验和,决定是否重新传输。只是命令不容易学,但学会了可以写脚本自动化。
freefilesync 比rsync好用些,有图形界面,全平台支持,默认也不开启内容校验,但是可以开启,开启教程参考:https://freefilesync.org/manual.php?topic=expert-settings,当然图形界面有内容比对可那是复制后的再一次校验,不是复制时候的校验。
syncthing 是一个专业同步工具,全平台支持,有版本控制等,功能更丰富些,同样支持校验。
rsync命令就不说了,freefilesync不用搭建服务,直接同步,任何盘,无论nas还是什么,只要能挂载到电脑它都能同步,能挂载的工具那就多了如rclone等。
而syncthing需要搭建服务,适合nas,相比于freefilesync有点门槛
硬盘长期放置数据出错怎么办
就算硬盘冷备放着不用,保存再好还是会出现数据错误,硬盘衰减是不可逆必然发生的事件,一般最多5-10年就不行了,必须定期通电来延缓衰老的过程,而且到期后要及时更换。
磁盘衰退导致数据部分出错怎么办?
前面我们说过3-2-1备份策略,其中“2”是本地保存两份。那么,冷备本地也建议两个硬盘互为镜像,可以在一定程度上避免一块硬盘因衰退导致的数据出错。
其次, 这两个备份可以做互相的校验,因为二者完全互为镜像,可以彼此检测对方的错误。
又因建议一个月通电一次,可以利用小米插座定期通电开机,并设置计划任务,让这两块磁盘扫描检查错误情况。
此外,还需要定期的检测,监控硬盘的健康度,虽然是冷备盘不经常用,衰退导致的磁盘状态不佳仍然需要注意,不要10年后才发现硬盘在三年前就去世了,那你冷备的意义何在?所以,前面一个月通电一次的计划任务中,除了让两块硬盘互相校验,还需要检查两块硬盘是否还健康,健康度不够要及时更换硬盘。
综上,冷备的维护工作也比较繁琐。有没有可能自动化解决上述流程呢?
我个人意见:用NAS组RAID1,及RAID1以上级别如RAID5来实现
此NAS系统用于冷备,一个月开一次机,自动开机用小米插座来实现(米家智能插座最长周期为一周,可以利用WOL技术,写定时脚本放在路由器或软路由或NAS长期24小时运行的Linux系统中来实现),NAS系统都有 以磁盘S.M.A.R.机制监控磁盘的健康度、温度与使用状况的机制,而且都是计划任务。一般48T数据校验10小时能完成,保险起见大概估算自己硬盘的测试时间,然后放宽1.5倍并以此推断出自动关机的时间,因为NAS都有自动关机的计划可以设置。
具体实现构想:例如我可以用最低硬件配置组建freenas,硬盘组mirror或者raidz1,自动开关机都不是问题,利用freenas的计划任务scrub基本可以完成上述数据校验和磁盘健康度检查的目标。再设置警报通知,及时发送邮件给你,可以发现问题并更换硬盘。
因为是冷备,同时坏两块盘的概率还是很小的,故而组mirror,也可以用RAID5冷备,当硬盘RAID大于6建议RAID6冷备。
冷备NAS系统不一定用freenas,用freenas也一定非要用ecc内存配置,因为是冷备不是长期运行当服务器。系统尽量NAS系统,当然Linux系统也可以,如centos,或ubuntu也支持ZFS文件系统,可以直接组mirror或raidz,同样可以写脚本定期ZFS-SCrub、re-sync一下,而SMART健康度检测可以安装下载对应工具再写个计划脚本进行,就是很费劲,不如专门的NAS系统设置方便。
以上,可以自动化完成冷备的定期检测任务,你只需要在看到警报时,及时更换状态不好的硬盘就行
总结
即使没有NAS,随身带一块移动硬盘或一块大容量机械硬盘,再弄一个网盘,已经足够大部分人使用了。用NAS不是必要的。
我用NAS最主要是嫌弃网盘限速和不安全,没隐私,丢我数据,分享限制多,而我组NAS可以实现上述所有,而且我喜欢PT做种,不用再天天裸盘做种了,同时还能搭建一些小服务搞搞私人服务器,自由度和私密性都有,故而以NAS达成了数据安全备份的功能。
以上有一些还是构想,如冷备份也用NAS进行,但的确是可行的,可能看起来复杂了些,其实对于有长期冷备计划的人来说应该是福音。而对于PB级的冷备,可能就不大适合了,例如磁带机可能更合适,但这里仅基于普通个人来说,其它的不做讨论。
希望对大家有些帮助或启发,我是村雨,下期见
作者声明本文无利益相关,欢迎值友理性交流,和谐讨论~
jarodpeach
校验提示文案
zdy1
校验提示文案
McWolf_
校验提示文案
龙在江湖漂
校验提示文案
tongjun741
校验提示文案
文彬小卡卡
校验提示文案
在那山的那边海的那边
校验提示文案
jimmyjin
校验提示文案
sldsniel
校验提示文案
时空调整者
校验提示文案
dunkeng
校验提示文案
想念彩云之南
校验提示文案
叮当叫机器猫
校验提示文案
冇一只猫
校验提示文案
值友9996102425
校验提示文案
值友9996102425
校验提示文案
冇一只猫
校验提示文案
文彬小卡卡
校验提示文案
tongjun741
校验提示文案
jimmyjin
校验提示文案
龙在江湖漂
校验提示文案
叮当叫机器猫
校验提示文案
想念彩云之南
校验提示文案
dunkeng
校验提示文案
时空调整者
校验提示文案
sldsniel
校验提示文案
在那山的那边海的那边
校验提示文案
McWolf_
校验提示文案
zdy1
校验提示文案
jarodpeach
校验提示文案