大家好,这里是Cherry,喜爱折腾、玩数码,热衷于分享数码玩耍经验~
前言
在很多人的NAS里,都有保存大量的文件资料,有些是来源PC电脑的备份,有些是来源手机备份,有些是来源网盘备份,有些则是手动上传。
这些文件或相同、或不同,反正大多数NAS用户都不会去整理,而是让它们就这样静静的躺在那儿,占用着昂贵的硬盘空间。
其实不仅是重复问题,还有管理不到位导致的文件多版本也很让人头痛,要找一个文件就需要从X.doc,X(1).doc,X(2).doc,X(3).doc,X(4).doc里找到谁是爸爸,谁是儿子。

下面,我们通过两种方法,来解决NAS里海量文件的重复问题,第一种是所有NAS通用的windows侧操作,第二种是铁威马独占的Deduplication Manager去重工具!

一、通过挂载到Windows去重
1、通过文件服务挂载
对NAS来说,比较通用的方法就是通过SMB/WedDav等方法,将文件夹挂载到windows侧,然后通过windows侧的各种去重软件进行去重。
🔻SMB服务
最常用的挂载方法,windows下在文件管理器输入//ip就可以实现挂载,macos下输入smb://ip来实现挂载。如果NAS使用双网络,可以使用聚合SMB挂载,突破单根网线速率。
🔻WebDav服务
WebDav是一种基于Web的分布式编写和版本控制的超文本传输协议 (HTTP)的扩展,核心是HTTP协议,主要在互联网端提供网络传输服务。PC电脑一般需要通过webdav客户端访问到nas服务上,windows下常用的是Raidrive这个软件,有免费版。
铁威马目前支持SMBFTPNFSWebDavRsync等文件服务。

Webdav的话,推荐使用RaiDrive这款支持免费使用的软件挂载,操作方便快捷。

2、使用CZKAWKA去重
在Window侧,比较常用的去重软件有Czkawka、Dupeguru、Krokiet等,我习惯使用的是Czkawka,支持各种类型的文件筛选去重,及硬链接功能。

铁威马的SMB速度很稳定,机械盘在2.5Gbps网口加持下基本能跑满260Mb/s的读写速度,所有对数千张照片进行复杂算法也不会很慢。

等扫描完毕以后,我们可以根据文件时间、大小、尺寸进行手动或自动去重;也支持通过软链接/硬链接等方式,在保持文件结构不变的情况下减少硬盘占用。

二、更稳妥的官方去重软件
除了挂载到windows外,我们也可以通过NAS自带的去重软件进行操作。比如铁威马就提供了一套简单易用的可视化去重方案——Deduplication Manager。

Deduplication Manager支持以存储卷为单位进行去重,会对同一个卷下的所有文件夹进行对比。

在扫描规则上,除了配置删除空文件、限制检查文件大小外,还支持三种不同的文件校验方法。其中md5最快、最笼统;sha1居中;sha256最慢、最准确。
🔻三种校验算法的原理和适用场景:
⭐ MD5:128位哈希值生成快,但存在碰撞漏洞(不同文件可能生成相同结果),适合非关键场景(如临时文件对比、简单去重),效率优先时可选。
⭐ SHA1:160位哈希值,曾广泛用于软件/文件校验(如Git版本追踪),已被证明存在碰撞风险,现多用于兼容旧系统或对安全性要求不高的重复文件筛查。
⭐SHA256:256位哈希抗碰撞性极强,几乎可视为唯一文件指纹,资源消耗较高但可靠性最佳,适用于高精度文件比对(如数据库去重、科研数据校验),确保“同一文件”判定无争议。

任务完成以后,扫描结果会展示去重文件数、节省空间数据,方便用户理解去重的成果。

对于扫描结果,也支持自动去重和手动去重,一般来说手动自由度会更高一点。可以针对性的选择单独的文件删除。

总结
根据上述两种方案,我们就可以对NAS里各式各样的重复文件就可以say goodbye了。而且不仅仅于文件,其它如视频、图片、其它格式文件等资料也可以进行校验去重。
值得一提的是,如果使用硬链接保留了文件结构的,我们在NAS里看到的磁盘空间是不会减少的,大家不用担心去重失败。
具体的,可以使用ls -il来查看列表里的文件id,如果有两个文件id是一样的,那就说明他们互为硬链接哦~~

作者声明本文无利益相关,欢迎值友理性交流,和谐讨论~
我用btrfs格式,文件重复也不占用空间。 下完小姐姐我就放在那里继续上传,然后复制一份到媒体库整理文件名。
去重真的刚需,一只用Deduplication Manager,还不知道Nas挂载可以,每次拷贝出来,心累,终于有好办法,我用的威联通,希望出一个套件版,或者docker的
这个软件真的很棒!之前网上下了别的去重软件,扫出来之后只随机对比了其中几个重复项目然后就全选删除了,但是我感觉它把我的唯一文件也删了,很心累。但是用了这个软件之后是真的爽,还可以可视化对比图片!但是不知道在群晖系统里能不能直接运行
\n“小伙子,红旗广场怎么走?”\n又一次被人叫住问路,换作是以前,我定会指一条相反的方向告诉他,然后沾沾自喜地感觉自己整蛊到人了。\n但是现在我没有,也许是已经过了幼稚的年纪,我耐心地告诉他:“前面过两个红绿灯,第二个十字路口左转,再走50米会看到一个步行街。\n那条街上人多,你问问他们怎么走。”
对于麦片哥乱起名字乱加水印乱改码率的,md5都不会一样,介绍的软件完全不行
按现在老美和中国的关系,硬盘内存啥的会不会涨价啊?我还想618买硬盘内存呢
不,我的小姐姐从不重复
关键是一个NAS好贵,能买两三个4T机械了,无非就是每次手动备份CV一下,没钱有没钱的法
伤身,别看小姐姐
大佬,群晖有没有啊?介绍一个呗,我也是比较专一啊,下完一次又一次同一个文件
czkawka和dupeguru都有docker
感谢,我现在用的就是Dupeguru,你说的这个软件我去试试
Czkawka,纯净的下载链接能分享个不(win用的)
有没有支持WIN7系统的啊?
我不要小姐姐***
同问同问,有没有windows去重软件好一点的
借一步说话。
很实用的教程,回去试试
威联通有官方的去重软件吗?我也想筛查一下。
威联通怎么办