适合家用高可用分布式备份同步系统

2020-05-12 15:02:18 50点赞 453收藏 44评论

随着国内各种网盘的纷纷关闭,百度云的交钱才给速度,大家备份途径越来越单一了。有能力的转向谷歌微软的云存储,或者各种公有云的存储,其实都不贵,上传不要钱甚至,下载就按流量收费咯。所以其实不适合普通人用。为此本文介绍了一种适合家庭用户的布置简单效率高的分布式备份同步系统。

布置理由

因为对群晖也好威联通也好都不是很满意,备份麻烦不说再增加云主机数量的时候还会收费。作者的硬件可以参考前面几篇文章。在此不在展开。其实 越接触公有云越觉得私有云有用,只能算是相辅相成吧。公有云替代不了私有云,反之可以。

实践家庭娱乐级别多媒体网络(一)小编注:此篇文章来自#原创新人#活动,成功参与活动将获得额外50金币奖励。写作目的为了在家能愉快的看片和上网,家庭局域网是其中最关键的环节。本文针对流媒体为主的用户对画质音质有进一步追求想要升级家庭多媒体环境享受愉悦观影体验的初级用户,如果您是蓝光UHD原盘重度收藏者请忽视本文。如果仅以蓝光UHD原lucifei| 12 评论14 收藏110查看详情

搭建过程

其实用了github上一个非常火爆的同步软件syncthing,网址在此,动手能力强的可以直接去下载了。本站有一篇如果安装设置的文章,直接贴出来,所以具体设置方面就不多说了,这边仅说说大体思路。具体教程链接:

群晖NAS还能怎么玩?爱折腾人的大玩具都有哪些折腾法 中篇小编注:此篇文章来自#原创新人#活动,成功参与活动将获得额外50金币奖励。上一篇说了NAS硬件的选择、开机、评价了远程数据迁移的4个工具,今天我们接着说说群晖NAS的其他玩法。数据同步书接上文,上文书说到尝试了4个同步工具,虽然完成了远程数据迁移,但是各有各的缺陷,都不理想,那么有没有理想的同步工具Wandernder| 124 评论58 收藏1k查看详情

还是首页的图片

适合家用高可用分布式备份同步系统

整个系统大体框架也是很简单,可以看到核心是三台NAS组成的一个备份集群。最右面的是N1的coreelec下面docker出来的一个openwrt,用来做冷备服务器。左边就是具体的需要备份同步的设备了。左边的手机只向服务器发送需要备份的数据,笔记本用的是Ubuntu20.04作为桌面系统既发送也接收部分数据。

因为syncthing是用go语言开发的,所以几乎各个平台都有非常方便,唯一遗憾的是没有iOS平台,但是有MacOS,所以苹果手机用户应该不能采用这种方案。下面是主页上各个平台截图,如果你的平台没有也没有大关系,可以下载源码编译或者升级最新的版本。网站首页

适合家用高可用分布式备份同步系统

讲一下具体思路,先说两台NAS,其实群晖也好威联通也好本质都是一样的,都是基于Linux定制的一个NAS系统,虽然他们的GUI看着很不一样。所以布置起来也是类似的,我没有采用添加源的方式来安装,因为是在太简单了,需要一点命令行基础来设置。以下命令都是参考不同系统略有不同

1、想办法把二进制程序包上传服务器,ssh到服务器上,解压缩

tar xfz syncthing-linux-amd64-v1.5.0.tar.gz

解压缩之后的文件夹里面其实就一个syncthing可执行文件是有用的,其他都是帮助文件。

2、执行syncthing这个文件,正常执行之后请ctrl+c终止执行。这部很重要,因为默认的syncthing配置只允许本机登陆,而群晖和威联通默认也没有浏览器给你用。所以需要修改以下配置文件。配置文件在当前用户目录的.config下面。具体路径~/.config/syncthing/config.xml

想办法修改它,怎么修改?威联通有nano,群晖有vi,也可以sed直接替换。把白色那行127.0.0.1改称0.0.0.0保存即可。

适合家用高可用分布式备份同步系统

3、重新启动syncthing,用浏览器打开网址:http://ip:8384 ,可以进入通用界面,类似这样子。第一次进入会让你设置用户名和密码。

适合家用高可用分布式备份同步系统

4、接下去就是浏览器里面设置了。先右上角改称中文界面吧, 然后进入操作设置把默认同步的文件夹改掉,改称你需要的一般是你外置硬盘的路径,不改的话在用户目录下面可能会空间不足。

适合家用高可用分布式备份同步系统

5、然后可以依样画葫芦按照其他的系统,windows就更简单了,可以去下载一个SyncTrayzor,不过里面的syncthing不是最新版本,需要自己替换一下。windows部署起来是超级简单的,就不多说了。Linux桌面用户有gtk版本的syncthing用也比较直观,其实web端已经很强大了。以下为windows和Linux下GUI界面。

适合家用高可用分布式备份同步系统

适合家用高可用分布式备份同步系统

6、关于如何让群晖和威联通上的syncthing自启动,我直接在cron里面修改了一下,也可以加在其他地方,哪怕手动也行,NAS重启机率不多吧。

7、手机上如何安装就不多说了,安装好了共享一下目录基本就能用了。但是要注意的是每次添加新机器进来,网页端都需要点确认,共享目录也是的。类似下面这个,手机端也需要确认在菜单的网页管理页面内。

适合家用高可用分布式备份同步系统

适合家用高可用分布式备份同步系统

8、最后有个共享目录收发的设置,不同机器目录设置不同,手机端一般选仅发送,服务器端就是发送接受了。

适合家用高可用分布式备份同步系统

9、还有其他高级设置不在此多说了,请自行研究吧,反正也不难。

使用感受

系统布置好两天了,我主要备份微信接受文件和拍得照片,可以手机设置只在wifi下运行,一切都是后台运行,当然电源管理那边要开放以下,可能进程杀得厉害的安卓会失效,不过为两部小米手机都ok,有机会试试华为或者其他的安卓。一般情况手机wifi状态下拍照,备份服务器在一分钟内就可以接收到,整个系统也很快就同步好,非常方便。设置openwrt服务器的意义在于冷备份防止版本修改,其实syncthing有版本控制的很牛B,我这个纯粹多此一举了。

这样子其实可以解决很多问题:

第一公有云的问题,传快下慢,当然我这边仅仅是涉及到自己的文件,人家共享的又是另外一回事情了。你可以部署多个服务器分别在不同的场所,比如家里单位父母家都可以,嵌入式设备也可以布置,我的openwrt就是N1,接个移动硬盘就可以。真正实现高可用低成本。

第二数据可靠问题,硬盘也不需要做raid来保证数据可靠了,你要么几台备份服务器同时报销,这个概率应该是微乎其微的。

还有安全性问题,个人觉得私有云还是比公有云安全性高,syncthing是完全的p2p性质服务,数据不通过发现服务器,可以保证数据的安全可靠。

总结

各个平台都能用,除了IOS目前不行,非常方便适合家用备份共享,你心动了吗?


展开 收起
44评论

  • 精彩
  • 最新
  • 恕我直言,你这黑裙和aio就已经不在ha范畴了。什么叫高可用性?起码做了热备和故障切换再说吧,你这不叫高可用性,只能说为了两个豆腐渣不塌加了点烂泥糊上去。

    校验提示文案

    提交
    高可用是为了防止业务量激增而产生的概念,家用本来就没几个设备当然一直是高可用的哈。服务不倒就高可用啊,何况我还要布置边缘服务器呢,多布置几个到时候。

    校验提示文案

    提交
    还有你说的热备和故障切换我都在文章里面给予实现了啊 那个openwrt就算热备了,故障切换我现在三个节点坏了任何两个都能正常工作的,再加到时候。

    校验提示文案

    提交
    还有8条回复
    收起所有回复
  • 没懂,一个黑裙就够了啊,moments自动备份照片视频,sync自动将指定文件夹的内容同步至黑裙,还有历史版本。
    如果怕安全性有问题,定期备份黑裙的数据就可以,整这么复杂还不支持iOS没找到收益点在哪

    校验提示文案

    提交
    因为通用性不强啊 这个方案的备份服务器可以是群晖 威联通 Linux Windows FreeBSD macos 路由器 电视盒 树莓派 各种arm设备 不要在一棵树上绑死

    校验提示文案

    提交
    忘了说手机了,这台方案手机不仅仅可以是客户端,也可以是服务端,可以同步其他设备,关键不是星型拓扑结构,而是真正分布式服务,每个设备都是对等的互连的,N个设备当服务端,哪怕坏N-1个都可以正常工作。当然不支持iOS是遗憾啊,谁叫苹果牛*呢

    校验提示文案

    提交
    收起所有回复
  • 公有云数据安全是基于天天换硬盘的基础上的,你的安全性是基于增加备份存储得到的。

    校验提示文案

    提交
    其实安全和可靠还是有区别的哈

    校验提示文案

    提交
    本地可靠性为零,我三台8盘位白裙24块4tb金盘自动同步,异地

    校验提示文案

    提交
    还有1条回复
    收起所有回复
  • 没懂,到底是同步还是备份?用群晖本身套件实现有啥缺点?

    校验提示文案

    提交
    可以同步 也可以备份 共享文件夹可以设置三种方式传送或者接受或者两者都ok 群晖我没有仔细研究过 就当一个NAS来用了 惭愧

    校验提示文案

    提交
    收起所有回复
  • 小钢炮自带syncthing,不支持IOS是硬伤

    校验提示文案

    提交
    嗯 ios闭源权限太严格 有优点也有缺点。

    校验提示文案

    提交
    收起所有回复
  • 简单的问题复杂化了! [喜极而泣]

    校验提示文案

    提交
    每台设备安装一个syncthing 简单吗 复杂吗 其他问题根本不用考虑 什么端口映射 ddns 内外网互通等等

    校验提示文案

    提交
    收起所有回复
  • 懒人表示家用都那么复杂了 [喜极而泣]

    校验提示文案

    提交
    懒人专属好吧 不需要群晖威联通 不需要动态域名 不需要账号密码 安装一个app就可以实现哈

    校验提示文案

    提交
    收起所有回复
  • 介绍了一种大家都知道的安装软件的办法,其他没什么用。。。作为研究可以,作为稳定简单有效的解决问题还有待商榷

    校验提示文案

    提交
    恩 其实是没啥大花头 就安装个软件而已 主要这个软件跨平台的厉害不是所有平台都自带桌面和浏览器可以操作 文章也说了动手能力强的直接下载就行 总有人对命令行部署不那么熟悉需要稍微提示一下 我个人也很不喜欢看教程类文章 直接读帮助不好吗 但是就有人不喜欢读帮助啊 另外稳定有效不是你我能说了算的 syncthing目前稳定版本到1.5了 我Linux桌面已经升级到1.6rc 不过GitHub上3w多的赞说明也是个很优秀的开源软件了 绝对不会比商业同步软件差就是了 毕竟构架在那里 分布式而不是中心式

    校验提示文案

    提交
    嗯嗯,说的都对,不过你用自带的协议同步,系统资源占用是最少的。

    校验提示文案

    提交
    收起所有回复
  • 一直用他同步文档,真的好用

    校验提示文案

    提交
    看来还真有人用啊 我是前几天刚刚知道这个软件后悔啊 这么晚遇见它 看到张大妈基本没人讨论用就举了个实例 关键原因是syncthing应该是太简单了哈 没啥好讨论的

    校验提示文案

    提交
    用了好几年了 简单 还有个类似的国内叫 微力同步

    校验提示文案

    提交
    还有2条回复
    收起所有回复
  • syncthing不是基于文件块的吧,一个大文件改了一点就得整个文件重新传?

    校验提示文案

    提交
    还有软件基于文件块的这么牛*哈?他有好几个版本控制不会误操作导致丢失文件就是了

    校验提示文案

    提交
    收起所有回复
  • 群晖和QNAP,同品牌的NAS之间备份有很多方案,譬如最常用的HyperBackup,不同品牌之间就稍微麻烦点,直接用系统自带的rsync,包括linux的那些服务器之间相互备份。

    校验提示文案

    提交
    穷人买不起那么多台群晖或者威联通啊

    校验提示文案

    提交
    收起所有回复
  • 吃多了系列

    校验提示文案

    提交
  • 有些地方要勘误一下 “威联通有nano,群晖有vi”改成:“简单有nano,复杂有vi”

    校验提示文案

    提交
  • 前排支持 有你更精彩

    校验提示文案

    提交
  • 这叫高可用分布式文件系统?你这套操作简直不忍直视。高可用的分布式文件系统应该从底层文件系统实现高可用和分布式,而不是部署多个nas。给你指条路pve+ceph。你这三个机器刚好后一个最小集群。

    校验提示文案

    提交
  • 折腾的乐趣!白群+黑群蜗牛+openwrt+onedriver飘过 [大囧]

    校验提示文案

    提交
  • syncthing我觉得很不错。电信和移动网络两台机器竟然可以跑满上传带宽,我用vpn来连接都只能1m速率

    校验提示文案

    提交
提示信息

取消
确认
评论举报

相关文章推荐

更多精彩文章
更多精彩文章
最新文章 热门文章
453
扫一下,分享更方便,购买更轻松