守护进程在Linux文件服务器上创build硬链接来find相同的文件

我有一个Linux服务器,我只存储新文件或重命名目录,而不是编辑文件。 它包含来自其他Linux服务器的备份

由于某些情况,有相当多的重复文件,往往名称不同。

有没有免费的Linux工具周期性地扫描文件系统,并有一个数据库的文件名,大小,也许sha1sums,然后确定重复,并用硬链接取代它们?

一些从https://unix.stackexchange.com/questions/3037/is-there-an-easy-way-to-replace-duplicate-files-with-hardlinks取得的工具

  • trimtrees.pl
  • fduples -L
  • findup -m(来自fslint)
  • rdfind -makehardlinks

你可以在一个cron工作中运行其中的一个。

您可以使用重复数据删除文件系统。 在Linux中有两个主要的select–btrfs和zfs。

使用btrfs的缺点是,它仍然没有被标记为稳定,没有fsck。

由于许可问题,ZFS不在Linux内核中,但是有一个支持大多数Linux发行版的内核模块。 另外,ZFS还有一些在线fsck,它具有擦洗function。 你可以看看zfsonlinux.org上支持的发行版

两者都具有压缩,重复数据删除和快照function,无需任何额外的用户空间守护进程 – 使其成为备份解决scheme的理想select。