我正在寻找一种有效pipe理和利用文件系统中的所有文件的文件级校验和的方法。 目标： 可configuration的快速刷新 – 当其他标准指示可能的更改（文件大小，时间戳，第一个和最后一个块已更改等）时，仅重新校验大文件。 我说“可configuration”，因为一些用例不能相信时间戳没有改变等等。 快速查询特定的校验和（换句话说，回答“我已经有这个文件？”的问题）在整个文件系统 一种比较跨文件系统的数据的方法（本地在解决scheme中，或机器可读的导出，以便比较可以编写脚本） 支持多哈希 重复的文件报告（我不希望解决scheme通过交互式重复数据消除会话;机器可读的报告输出将是好的） Nice-to-Have：可以select（重新）在每个目录（“CHECKSUM”，“MD5SUM”或类似的）中生成传统校验和文件的方式，以便通过FTP或Web公开的子目录可以轻松地使用校验和 关键的思想是以这种方式对哈希进行快速更新和快速查询。
从Google云端硬盘中删除重复文件的最佳方法是从社区寻求一些build议。 理想情况下，希望能够在云端完成任务，而无需下载所有内容并在本地重复数据删除，但是我可以使用任何可能的解决scheme。 谈论一个非常大的谷歌驱动器与一个非常嵌套的文件夹结构。 谢谢
扣除大小图片 大家好， 当我设置Windows depuplication，我得到很大的节省。 见附图。 减less到23 GB的1.28 TB。 但是，节省的空间并不真实。 可以说，音量是2TB。 根据屏幕截图，只有28 GB的使用，所以我应该能够添加另一个1.9 TB的数据。 实际上，一旦我添加〜800GB的数据（达到真正的2TB限制），音量就会被填满。 然后附加的图片会说数据大小2TB，磁盘大小50GB（或类似的东西）。 如果我不能节省空间，重复数据删除的重点是什么？ 或者，有没有一些技巧设置这个我没有看到。 我已经在服务器2012r2和2016上得到了相同的结果。我已经尝试了使用VHDX的HyperV级别以及具有大型备份文件的备份服务器。
什么是存储虚拟机映像的最佳文件系统？ 我正在寻找可以节省一些磁盘空间的function，如压缩，重复数据删除等。ZFS是已知的…但在Linux世界的任何其他select？ 新的EXT4文件系统对于像VM这样的工作负载有多好？
我正在寻找一个免费的解决scheme来构build通过SAN（iSCSI）访问的虚拟磁盘目标。 对我的主要要求是重复数据删除支持。 经过在互联网上的search，我遇到了quadstor（quadstor.com）和nexentastor（nexentastor.org）。 nexentastor是不是在Linux上，但因为他们包括一切作为一个ISO我的罚款。 但是我还没有能够得到这些软件的任何评论。 有没有人有经验？ 我错过了其他明显的解决scheme吗？ 干杯
为了节省备份空间，我想知道是否可以使用任何重复数据删除function，或者是否使用了特殊的实施。 换句话说，我说使用备份软件x。 如果我将这些备份发送到具有重复数据删除function的服务器（如FreeNAS），是否可以稍后恢复，还是必须在备份产品中使用特殊软件来获取和恢复数据？ 像戴尔这样的厂商有专门的重复数据删除备份设备，但是如果我能build立自己的存储设备，我会省下一大笔钱。
我有两台服务器，第二台通过rsync同步。 我有一些（几千？）大的重复文件，我想使用freedup来腾出一些空间。 如果我在源码上启动释放，rsync -H会用硬链接replace目标上的真实文件，并节省空间吗？
这里列出了几个重复的Linux文件查找器。 我已经尝试了fdupes和fslint。 但是，从我所看到的，这些将会find所选目录结构/searchpath的所有重复项，因此也会重复存在于其中一个searchpath中（如果select多个）。 然而，我需要的是根据参考pathsearch重复项，我可以在其中定义一个path作为参考path，并在其他path中search参考path中存在的文件，以便将其删除。 我需要这样做，准备两个不同步的大型目录结构，其中一个比另一个更新（这将是我的参考）。 大部分的文件应该是两者之间的重复，但我怀疑还有一些文件只在另一个path上，所以我不想删除它。 为了达到这个目的，我可能有一些select可以忽略吗？ 我已经尝试编写一个Python脚本来清理fdupes输出的列表，但不能成功。
我维护我们公司的SBS2011服务器，并且每个月都有重复的文件报告给我。 我注意到在以下目录中增加了重复文件的构build： NT SERVICE \ TrustedInstaller BUILTIN \pipe理员 S-1-5-21-253125893-3659723687-2658493243-1156 NT AUTHORITY \ SYSTEM 这些目录是什么，可以安全地删除这些重复的文件中的任何一个，而不会造成任何问题？ 感谢您的任何想法/信息！
ZFS中的重复数据删除和L2ARC会很好。 OpenSolaris是否支持它们？ 我无法弄清楚它们在哪个版本的Solaris中，以及如何映射到OpenSolaris。 他们在吗？ 如果没有，你知道他们什么时候安排。