开篇——需求、痛点与方案

2021-11-02 18:00:09 21点赞 105收藏 32评论

创作立场声明:本人致力于搭建稳定高效的个人云服务系统,会持续输出实现中沉淀下来的精华。

现状与需求

NAS究竟应该怎么玩儿,相信每个玩家都有自己的答案,但多样的需求中是有很多共性的,这些共性之上又有很多NAS玩家们共同的痛点。笔者作为软件开发行业的从业者,发现在商用领域,自动化运维技术的应用已经非常成熟,甚至大厂已经开始将人工智能应用在运维领域,在这种体系下,数据高效且自动化地在系统间流动,而整个系统又非常稳定,以至于想要让一套系统宕机反而变成了一件困难的事情。而反观家用场景,我们的照片分散在不同的手机上,5年前的照片你还记得在哪台手机上吗?电影在移动硬盘上等待有一天能被人想起,想看一部经典的电影时记得自己下载过,但想想还得找硬盘出来插到电脑上正襟危坐地看,纠结了一会儿还是充了爱奇艺会员。文档在各个电脑上到处都有,先前的资料超过一年的,能不能找到全看缘分,收集了不少电子书但是全都在吃灰,更扯的是你都不记得他们在那个目录下吃灰。

其实不管是家用还是商用,最核心的需求无外乎是自动化地将各个设备上的数据存储到服务器并备份,同时又能够在各个设备上方便地访问这些数据。在这个方面家用场景其实是比商用场景更复杂的,因为商用场景下的设备几乎都是标准化的服务器,而家用场景下的设备包含了服务器、pc、平板、手机、电视等等,其适配难度高是显而易见的。 但开源软件发展到今天,已经有了很多优秀的方案可以适配各种设备及场景比如TrueNas、nextcloud、syncthing、joplin、jellyfin等,而docker容器又大大降低了这些开源方案部署的难度,一个稍有技术基础的人就可以相对轻松地部署起一套自己的服务矩阵。将这些优秀的方案有机地集成起来以后就可以搭建起一套开源稳定的NAS系统 。

痛点

目前市面上的NAS最多的必然是群晖,配置友好、功能齐全。然而按照我对自己NAS的规划,他的生命周期至少是需要在10年以上,再这种要求下,它有几点无法满足我的需求。

1.照片及文件管理都不是“目录优先”的,即它不会去适应你自己的目录结构,而是需要你去适应它给你安排好的目录结构。

2.虽然功能齐全但各个应用是相互割裂的状态,其他品牌NAS此情况更甚。

3.软件不开源,迭代速度很慢,且质量并不是很好,更无法自己对接api实现自动化控制及监控。

4.不是通用硬件,无法针对性升级。

规划

既然需求在,痛点在,方案也在,剩下的就是把方案实现了。其实就是选择一个合适的通用物理机,在上面搭建一套合适的开源服务,然后通过设置及脚本尽可能多的实现自动化。又因为我是软件开发出身,所以有能力直接调用这些开源服务的数据接口,从而实现一个强大便利的控制台,让管理员可以迅速了解系统的状态。我给这套系统起了一个名字,叫Aquar(水瓶座),我希望这是一个小巧而丰富的生态瓶,守护瓶中的数据之水。

目前纳入系统的内容包括如图所示:

方案图方案图

硬件上我照抄了翼王使用E3平台搭建NAS的配置,原因是这套平台拥有纯正的服务器血统,稳定性和功能上我不需要有任何担心,8个stata接口方便折腾,E3 1235lv5的25w功耗可以说算得上x86通用机型里最低的了。而且目前没有可以虚拟化的通用ARM PC平台可以使用,我最初想使用树莓派来实现一个mini版NAS但它无法承担多块硬盘所需的供电,硬件性能上也有诸多限制所以无法胜任。这套硬件的性能对于NAS系统其实是过剩的,我选择它的另一个原因是平时可能会运行多套系统用来开发和尝试新的方案。如果是单纯的部署这套系统,那么一套J4125硬件足矣。

系统上我先后尝试了proxmox VE以及ESXI,两家各有优劣。在虚拟化之上启动了一个TrueNas core作为物理硬盘的管理系统,再启动一个ubuntu系统来搭载其他应用,这样可以使上层应用与文件服务解耦,且在ubuntu上安装各类软件也更加方便。

软件方案是我在GitHub上综合考虑了热度、维护活跃度、技术选型等因素层层筛选出的优质方案,将这些方案使用docker集成在一起就形成了我们的服务矩阵。

服务矩阵之上,笔者自己开发了一个功能强大的控制台,可以在同一页面查看系统状态和各个服务的核心数据。让你不会出现服务挂了一个月了,才发现的情况。这个控制台还在持续开发中,我会集成更多的实用功能在其中。

开篇——需求、痛点与方案

展开 收起
32评论

  • 精彩
  • 最新
  • unraid真香,就是入门难,稳定性略差

    校验提示文案

    提交
    unraid没法raid导致我完全没办法采用

    校验提示文案

    提交
    确实,不过奇偶校验能省不少硬盘空间

    校验提示文案

    提交
    收起所有回复
  • 建议试下TrueNas SCALE吧,底层就是debian,可以原生支持docker,这样就省下虚拟机层了。如果要用虚拟机的话,也可以在TrueNAS里面跑kvm

    校验提示文案

    提交
    首先truenas scale的zfs不是openbsd原版的,我担心有细微差别影响稳定,第二自己弄kvm门槛过于高了,说实话我目前在esxi的显卡直通上遇到了问题,打算换回pve而pve就是基于kvm的

    校验提示文案

    提交
    现在openzfs2已经合并代码了,bsd和Linux一套代码,功能一样了。

    校验提示文案

    提交
    还有1条回复
    收起所有回复
  • 没有公网,主要存储图片和看视频用,选择威廉通453dmini 还是 极空间,求回复 [哭泣]

    校验提示文案

    提交
    sorry哦,我是玩儿DIY的,没有细看过各家品牌NAS的参数,给不了建议,不过从你的需求上,看视频对机器要求算是很高的了,买的时候看清楚cpu够不够强,有没有4k解码能力

    校验提示文案

    提交
    我是极空间z2用户,之前也用过威联通nas,仅仅用于存电影看视频的话,我强推极空间,极影视刮削能力极强,而且有TV端的app,想看的资源找不到下载快的种子还可以找群里大佬要个闪电传链接

    校验提示文案

    提交
    还有2条回复
    收起所有回复
  • zfs得多少内存起步啊

    校验提示文案

    提交
    单独zfs没看到有要求的限制,只看到truenas建议8G以上

    校验提示文案

    提交
    truenas的内存主要给zfs拿去缓存了,我装了16G内存测试,开了个iscsi,就映射给台式机下载游戏,然后看面板,基本都是zfs缓存掉了。

    校验提示文案

    提交
    收起所有回复
  • truenas scale好点,现在已经到rc,正常使用没问题 [邪恶]

    校验提示文案

    提交
    确实可以考虑,但scale有点不上不下,虽然是debian系统,但又不像ubuntu那么方便,所以还是没省下一台虚拟机,不过在非虚拟化环境还是有很多方便之处的

    校验提示文案

    提交
    学习用docker安装程序,用truenas scale一样好用。即使给你装一个Ubuntu,装各种服务到最后还不是docker

    校验提示文案

    提交
    收起所有回复
  • 直接装arch,下面虚拟若干debian做各种应用场景

    校验提示文案

    提交
    arch我最近才了解了一些,定位过于极限了,对我来说系统是基本,不是折腾对象,所以还是用大众的发行版更好

    校验提示文案

    提交
    收起所有回复
  • TrueNas core作为物理硬盘的管理系统,是ESXI把SATA 控制器直通给TrueNas了吗?这样的话ubuntu安装在哪里?

    校验提示文案

    提交
    truenas只负责管理数据盘,系统盘是独立的固态,esxi的硬盘直通是以映射的形式弄得,不是直通控制器

    校验提示文案

    提交
    就是RDM直通呗。TrueNas还做了阵列吗?RDM直通数据安全性怎么样?

    校验提示文案

    提交
    还有1条回复
    收起所有回复
  • 看这个架构有点好奇,PVE本身就是集成了nas服务组件的Debian了还有必要虚拟化一个Ubuntu作为跑其他服务的平台吗?而且PVE本身也有lxc容器

    校验提示文案

    提交
    PVE集成了哪些NAS服务呢?他的主要目的是虚拟化及虚拟机管理,我没看到什么好用的NAS功能。也是这个原因所以没必要也不应该当作自建服务的部署平台,因为他不是为这种目的设计的。

    校验提示文案

    提交
    这方面跟UNRAID有点像吧,都是光板平台,跟攒机一样得自己找软件包,不过这是高玩了,大部分都是去docker hub拉合适的用或者虚拟机了

    校验提示文案

    提交
    还有1条回复
    收起所有回复
  • 现在纠结于unraid还是truenas,有人能比较下吗,从稳定性,恢复方便程度来给点建议。

    校验提示文案

    提交
    用truenas scale5个月。各项性能很好,稳定,而且k8s装各种应用,还能acme做ssl认证,treafik做路由访问各种应用。如果像作者那样,e3-1235l v3 cpu,内存还不能装到32g,最后只有一个结果,捉襟见肘,你装完nextcloud,jellyfin,pg数据库,redis,pgadmin,treafik这几个必备软件,应用内存已经跑了8g,还不算zfs本事就吃内存。

    另外再说一下,如果选择unraid的人,建议你们直接挂路由器硬盘,没必要多花钱买一个没有保障,而且安全性极差的东西回来。zfs系统出名的写时复制功能,写入数据覆盖时断电了,原始数据还能正常访问,unraid能做到吗?

    校验提示文案

    提交
    truenas scale 我最担心的就是zfs的稳定性,学习zfs的时候文档全都挂着oracle的logo,文档里也都默认你在freebsd下,用linux环境就很担心因为一些很小的细节卡住。要不是因为这,谁会不喜欢linux呢~ [喜极而泣]

    校验提示文案

    提交
    还有1条回复
    收起所有回复
提示信息

取消
确认
评论举报

相关文章推荐

更多精彩文章
更多精彩文章
最新文章 热门文章
105
扫一下,分享更方便,购买更轻松