硬盘挖矿时代,挖潜Windows“存储池”中的硬盘容量

2021-05-21 18:55:31 11点赞 55收藏 22评论

创作立场声明:自己设备,自己购买
碰到问题,想方设法
解决问题,总结经验
秉笔直录,大家共享

自从那个用硬盘挖矿的“CHIA”上市以来,硬盘价格就节节攀升,一夜回到解放前;“没货”更令人沮丧!

硬盘挖矿时代,挖潜Windows“存储池”中的硬盘容量

作为影视爱好者,下载和存储,当然必不可少!之前搭建一台电影下载专用NAS——环保省电:

打造QNAP的TS-551成为极致下载机(上)

打造QNAP的TS-551成为极致下载机(下)

下载导致电影容量”爆仓“,于是又对NAS进行扩容:

下载多了,NAS扩容刻不容缓

为了更好地款待超过300T的电影,特意海淘了一个硬盘“摩天大楼”,准备改善这些大哥哥小姐姐们的居住环境:

硬盘的摩天大楼到位了,那房客在哪里?

然而看看网上节节攀升的硬盘价格,又看看我那空空如也的“摩天大楼”,我仿佛站在了人生的三岔路口!

硬盘挖矿时代,挖潜Windows“存储池”中的硬盘容量

Windows存储池介绍

除了NAS,Windows存储当然是不二选项。在windows下我常年使用“存储池/Stoage Pool”功能。

硬盘挖矿时代,挖潜Windows“存储池”中的硬盘容量

在此我先科普一下windows的“存储池/Stoage Pool”和“存储空间/Storage Space”,熟悉的同学请跳过这一段。

硬盘挖矿时代,挖潜Windows“存储池”中的硬盘容量

“存储池/Stoage Pool”和“存储空间/Storage Space”的概念最早是随Windows8以及Windows Server 2012发布的。我对于这两个概念的理解如下。

硬盘挖矿时代,挖潜Windows“存储池”中的硬盘容量

若干个硬盘放在一起组成“存储池”。

如果这些硬盘大小不一,那创建的“存储空间”只有一种选择,就是“简单合并”,类似于JBOD。当然不推荐使用。

硬盘挖矿时代,挖潜Windows“存储池”中的硬盘容量

如果这些硬盘大小一致,那可玩的花样不少。具体请看下图:

硬盘挖矿时代,挖潜Windows“存储池”中的硬盘容量

“存储池”创建完成后,“存储空间”创建于“存储池”之上。可以将“存储空间”视作虚拟的硬盘。

硬盘挖矿时代,挖潜Windows“存储池”中的硬盘容量

我常年使用的是“奇偶校验”的“存储池”,相对于RAID5。

硬盘挖矿时代,挖潜Windows“存储池”中的硬盘容量

网上喷RAID5的文章不少,一搜一大把。主要的指责来自于:当RAID5其中的一块硬盘坏了,当你加入一块新硬盘重建的时候,另外几块硬盘可能不堪重负,精尽而亡,导致整个RAID5数据丢失。

硬盘挖矿时代,挖潜Windows“存储池”中的硬盘容量

如果RAID5坏一块硬盘导致降级成为RAID0,这时并不着急重建,因为RAID0至少可以坚持一段时间;在此期间你可以决定或者“导出数据”,或者“加一块硬盘重建”。

硬盘挖矿时代,挖潜Windows“存储池”中的硬盘容量

挖潜存储池

Windows的存储池早就由绿变黄,让添加硬盘。看看网上硬盘的价格,我安慰存储池:咱们再等等!然而今天它终于发飙了——由黄转红——老子不干了!

硬盘挖矿时代,挖潜Windows“存储池”中的硬盘容量

于是我陷入了沉思:加硬盘——现在没钱也没货?要不删掉一些不喜欢的电影?在近30T的电影文件里转了一天,删除的不超过100G。一筹莫展呀!

硬盘挖矿时代,挖潜Windows“存储池”中的硬盘容量

正在存储池里瞎转的时候,突然发现一个问题。

硬盘挖矿时代,挖潜Windows“存储池”中的硬盘容量

为什么存储空间是26T,而包括复原需要39T?这样存储空间的使用率才66.66%,不是说好RAID5的使用率是:
(N-1)/N
我使用5块8T的硬盘,使用率应该是80%,实际可以使用的空间应该是:
(5-1)/5*7.27T*5=29.08T
而现在连26T都没到就显示“无容量”!

硬盘挖矿时代,挖潜Windows“存储池”中的硬盘容量

于是开始各种搜!关于windows存储池和存储空间的结果不少,不过都是些白开水的文章。根本没有提到“奇偶校验”下容量的设置。

硬盘挖矿时代,挖潜Windows“存储池”中的硬盘容量

转战英文网页,收获显然大于中文网页!

硬盘挖矿时代,挖潜Windows“存储池”中的硬盘容量

悉心阅读了好久,才发现原来问题出在这里:
在windows的图形界面下,不管使用多少硬盘创建“单奇偶校验”的存储池时,默认使用3列,就是2/3的使用率,且没有调整的地方。如果希望达到(N-1)/N的使用率,请使用Powershell!

硬盘挖矿时代,挖潜Windows“存储池”中的硬盘容量

OMG,为什么微软不用中文早说!做一个简单的统计,下图是3到20块硬盘,优化和默认之间使用率的差距。

硬盘挖矿时代,挖潜Windows“存储池”中的硬盘容量

从中可看到10盘以下“差距”迅速上涨,超过10盘后,“差距”上涨趋缓。

硬盘挖矿时代,挖潜Windows“存储池”中的硬盘容量

事实真的是这样的吗?如果我们把硬盘容量加入会是怎样呢?我们先看看存储池的总容量:

硬盘挖矿时代,挖潜Windows“存储池”中的硬盘容量

下图是存储池容量优化与否之差异。20个20T的硬盘组成的存储池,默认设置将造成113T的差异,几乎浪费了5.5个20T硬盘,按现在的市价大概3W软妹币!

硬盘挖矿时代,挖潜Windows“存储池”中的硬盘容量

当然大家可能觉得20个20T的硬盘太夸张,我们来看看平常人可能造成的损失吧。

硬盘挖矿时代,挖潜Windows“存储池”中的硬盘容量

看到上面的表格,大家可以注意以下几点:

  • 默认的6列将导致损失一块硬盘的容量。如果去鱼缸里看看现在硬盘的价格,就晓得会有多大的损失!

  • 1T(甚至半T)硬盘的性价比实在太低,硬盘挖矿前肯定没有人用它组“存储池”,现在就不好说了,也许利用手上多余的,可以临时组一个。

  • 之前性价比最高的是8T硬盘,5块8T硬盘可以获得32T的存储池;如果使用Windows默认,将损失5.3T的容量。按照目前的市价,5.3T大概值800块

硬盘挖矿时代,挖潜Windows“存储池”中的硬盘容量

好!这就是我挖潜存储池的来源!

用好Windows Powershell

“存储池”是否需要拆了重建?答案是“否”!

硬盘挖矿时代,挖潜Windows“存储池”中的硬盘容量

需要做的是在原有的“存储池”上创建新的“存储空间”,当然还是“单奇偶”。

硬盘挖矿时代,挖潜Windows“存储池”中的硬盘容量

打开Power shell使用这样的命令:

New-VirtualDisk -StoragePoolFriendlyName Pool4K -ResiliencySettingName Parity -FriendlyName My4K -Size 12TB -ProvisioningType Thin -PhysicalDiskRedundancy 1 -NumberOfColumns 5

加粗部分需要根据自己的环境填入的变量:

-StoragePoolFriendlyName:新的“存储空间/VirtualDisk”创建于哪个“存储池/StoragePool”
-ResiliencySettingName:新的“存储空间/VirtualDisk”属性:Simple, Mirror, 或Parity
-FriendlyName:新的“存储空间/VirtualDisk”自己的名字
-Size:你懂的
-ProvisioningType:Fixed(大小固定)或Thin(大小不定)
-PhysicalDiskRedundancy:冗余硬盘数量,单奇偶就是1,双奇偶就是2
-NumberOfColumns:列,池中共有几个硬盘

新的存储空间创建好了:

硬盘挖矿时代,挖潜Windows“存储池”中的硬盘容量

接下来就是格式化。随着硬盘越来越大,格式化簇的大小也需要格外注意!

硬盘挖矿时代,挖潜Windows“存储池”中的硬盘容量

Windows默认NTFS格式的簇为4K,那分区最多支持16TB。如果需要更大的分区,请注意增加簇的大小。

硬盘挖矿时代,挖潜Windows“存储池”中的硬盘容量

接下来就是漫长的拷贝,即从同一存储池的老存储空间向新存储空间拷贝。30T的数据大概需要2周左右。

硬盘挖矿时代,挖潜Windows“存储池”中的硬盘容量

需要2周?其根本的原因是Windows存储空间的写入速度慢的令人发指!

硬盘挖矿时代,挖潜Windows“存储池”中的硬盘容量

使用感受

硬盘挖矿时代,对于硬盘容量,已经没有大手大脚挥霍的本钱,只能挖潜Windows存储池。

硬盘挖矿时代,挖潜Windows“存储池”中的硬盘容量

通过这次挖潜的经历,进一步加深了我对于Windows单校验存储池的了解。总结其特点如下:

优点:

  • 整合多个硬盘,最好是同样大小,不然以最小的硬盘容量为准

  • 提供一定程度的防护:降级时可以考虑转移数据或者重建

  • 支持存储池在不同机器下转移,只要是Windows8或者Windows Server2012以上都可以自动识别

缺点:

  • 写入速度令人发指

  • 图形界面仅仅支持基本功能,高级操作都需要Powershell完成,命令复杂难以驾驭

展开 收起

QNAP 威联通 TS-464C2 四盘位 NAS网络存储(赛扬N5095、8GB)黑色

QNAP 威联通 TS-464C2 四盘位 NAS网络存储(赛扬N5095、8GB)黑色

2599元起

QNAP 威联通 TS-466C 四盘位NAS(奔腾N6005、8GB)

QNAP 威联通 TS-466C 四盘位NAS(奔腾N6005、8GB)

3199元起

QNAP 威联通 TS-464C 4盘位NAS(赛扬N5095、8GB)

QNAP 威联通 TS-464C 4盘位NAS(赛扬N5095、8GB)

1999元起

QNAP 威联通 TS-216 双盘位NAS (ARM Cortex A55、2GB)

QNAP 威联通 TS-216 双盘位NAS (ARM Cortex A55、2GB)

1199元起

QNAP 威联通 TS-464C2 4盘位NAS(赛扬N5095、8GB)

QNAP 威联通 TS-464C2 4盘位NAS(赛扬N5095、8GB)

2699元起

QNAP 威联通 TS-462C 4盘位NAS(赛扬N4505、4GB)

QNAP 威联通 TS-462C 4盘位NAS(赛扬N4505、4GB)

1899元起

QNAP 威联通 TS-564 五盘位NAS (N5105、8GB)

QNAP 威联通 TS-564 五盘位NAS (N5105、8GB)

1825元起

QNAP 威联通 TS-416 四盘位NAS(Cortex-A55、4GB)

QNAP 威联通 TS-416 四盘位NAS(Cortex-A55、4GB)

1599元起

QNAP 威联通 TS-262C 双盘位NAS(赛扬N4505、4GB)

QNAP 威联通 TS-262C 双盘位NAS(赛扬N4505、4GB)

1699元起

QNAP 威联通 TS-264C-4G 双盘位 NAS存储(N5105、4GB)

QNAP 威联通 TS-264C-4G 双盘位 NAS存储(N5105、4GB)

1899元起

QNAP 威联通 TS-264C 宇宙魔方 8G内存2盘位四核心处理器网络存储服务器内置双 M.2 插槽NAS私有云

QNAP 威联通 TS-264C 宇宙魔方 8G内存2盘位四核心处理器网络存储服务器内置双 M.2 插槽NAS私有云

1899元起

QNAP 威联通 TS-464C 4盘位NAS 黑色(赛扬N5095、8GB)

QNAP 威联通 TS-464C 4盘位NAS 黑色(赛扬N5095、8GB)

3499元起

QNAP 威联通 TS-464C 4盘位8G内存四核心处理器网络存储服务器内置双M.2插槽NAS(含企

QNAP 威联通 TS-464C 4盘位8G内存四核心处理器网络存储服务器内置双M.2插槽NAS(含企

2099元起

QNAP 威联通 TS-873A 8盘NAS(V1500B、8GB)

QNAP 威联通 TS-873A 8盘NAS(V1500B、8GB)

7480元起

QNAP 威联通 TS-212P3 双盘位NAS(Realtek RTD1295、1GB)

QNAP 威联通 TS-212P3 双盘位NAS(Realtek RTD1295、1GB)

799元起

QNAP 威联通 TS-453Bmini 4盘位NAS(J3455、4GB)

QNAP 威联通 TS-453Bmini 4盘位NAS(J3455、4GB)

1899元起
22评论

  • 精彩
  • 最新
  • 不推荐RAID5的意思并不是说你重建过程硬盘会出现物理损坏,而是涉及到了BER/URE概念,在这个经过检验的概念中,大容量硬盘损坏后重建成功的机率就是很低,并且即便是成功重建,往往依然伴随着文件实际上的损坏(如00000变成了00010),这对媒体文件影响不大,你并不注意几个像素变成其他颜色或者丢了某一帧画面,但是对于一些文档类型文件,甚至硬盘币这种,就会导致文件损坏了

    校验提示文案

    提交
    “大容量硬盘损坏后重建成功的机率就是很低,并且即便是成功重建,往往依然伴随着文件实际上的损坏”
    如果您的表述成立的话,那对于任何需要重建的RAID都可能存在这样的问题,无论RAID1,5,6,10,50,60等等?

    校验提示文案

    提交
    如果是这样,校验干嘛去了,文件变了还能一样校验通过?

    校验提示文案

    提交
    收起所有回复
  • 讲道理,盘比较多的情况我觉得还是几十块钱捡块ylj阵列卡比较靠谱,只是给机械硬盘做阵列的话早几年的淘汰产品也够用了,比起软阵列还是靠谱很多的,性能也会好不少。

    校验提示文案

    提交
    陈列卡的性能比存储池不知道好多少,我手上的9211还能够识别12T的硬盘。不过:
    1, 多盘位的话,几乎找不到合适的机箱。如今找一个能够塞进8个3.5硬盘的机箱真的不容易。
    2, 换电脑还得带着陈列卡,入手了新的陈列卡没法直接升级。
    3, 我不过就存个电影,慢点就慢点。

    校验提示文案

    提交
    Windows存储空间还有一个优势是支持不同容量的磁盘组合。比如说我就是1个3T+1个4T的硬盘,然后建了一个simple、一个mirror的虚拟磁盘,分别存储不同要求的数据,一点也不怕空间浪费。

    校验提示文案

    提交
    还有4条回复
    收起所有回复
  • 另外,Windows存储池并不是严格按照磁盘做划分的,而是按一定的大小划分每个硬盘的空间(映像中一块是256MB),然后再根据存储空间的设定,将数据分散到不同硬盘的块上。比如,单奇偶下Column为3,实际应该解释为,对于实际存储的3列数据,有2列是有效数据,1列是校验数据,这3列数据会散步在不同磁盘上,保证至少允许但磁盘故障,这样在3盘是和Raid5等价的,但是盘多利用率就会下降。

    校验提示文案

    提交
    高手,膜拜一下!
    之前硬盘便宜,加个硬盘也便宜,哪知道现在硬盘贵如黄金!

    校验提示文案

    提交
    收起所有回复
  • [高兴] [高兴] [高兴] [高兴] 之前用过一阵win server的存储池,速度太让我着急了,后来直接简单粗暴的上了zfs,全靠内存加速,内存小的话,直接条带(比如说现在的我,因为挖矿就是直接条带了)

    校验提示文案

    提交
    ZFS是个好东西,QNAP最新的系统都用上ZFS了。看测评,不加到32G,系统性能堪忧。

    校验提示文案

    提交
    ZFS其实对个人用户意义不是很大,硬件要求高,特别是对内存的依赖,而且4K性能、纠错、快照等优点对于个人用户来说也不能说是痛点。

    校验提示文案

    提交
    收起所有回复
  • 昨天今天都在折腾这个玩意,现在在server 2019里装了。8块8TB的硬盘来做这个事儿。创建完池是58.2T.
    用win10的GUI创建存储空间,貌似容量会非常小,大概是38TB吧,比server里显示的容量小很多。
    换到server里去之后,用GUI创建了一个虚拟磁盘(其实就是存储空间),一开始用thin的方式 建立了一个卷大概46.5TB吧,因为GUI里用固定方式显示这样的容量。

    用起来非常非常慢,我想是不是因为精简供应,于是删了重建,采用固定的方式压根建不出来那样大小的卷,几经测试最大19.几TB,而且那58T的池在建完 19T固定卷之后,直接显示还有一丁点容量了。根本搞不懂他这个容量显示是怎么回事。

    在用了您文档里的命令,首先建了一个47600GB的固定空间,发现利用率是87.5%,回gui查看还有空间剩余,又尝试建立50000GB的,也一样是87.5,尝试在GUI里给这个空间扩容,可以把GUI里显示的剩余容量加进去,最终50.9TB,空间比例依旧是87.5%。 真是搞不懂。

    校验提示文案

    提交
    对于校验池,8盘的最大利用率就是87.5%,一盘做校验,七盘存数据。

    校验提示文案

    提交
    收起所有回复
  • 看不懂 但很厉害

    校验提示文案

    提交
  • 我是两块12t raid0,两块8t raid1, 电影文件不算太重要,坏块出了再拷贝出来一般也就坏几部电影,相对重要的或者冷门的资源文件放raid0,还能坚持

    校验提示文案

    提交
  • 讲道理存田块还是mergefs简单实用,容量利用率max,坏了也就损失一块盘的田,重p就行了,反正那些田块也没啥价值

    校验提示文案

    提交
  • 另外如果用fastcopy拷贝数据就很慢,20MB吧,用win自带的就块多了,低的时候20多,高的时候100~200

    校验提示文案

    提交
  • 对了,还能开重删。为什么这评论不能删了,重新发啊...

    校验提示文案

    提交
提示信息

取消
确认
评论举报

相关好价推荐
查看更多好价

相关文章推荐

更多精彩文章
更多精彩文章
最新文章 热门文章
55
扫一下,分享更方便,购买更轻松