在Windows Server上连续单向复制数千万个文件的选项?

我们有一个非常大的Windows文件存储(数兆字节和数以百万计的文件),我想保持连续复制到另一台服务器,尽可能接近实时。 我正在寻找可以实现这一目标的工具。

到目前为止,我已经想出了:

  • 将其移动到NAS或SAN并共享文件 。 不起作用,至less六个月不是我们的select。
  • 在/ MON上使用robocopy 。 我担心复制源资源耗尽,因为它会在每个周期重新扫描整个树。 (当/ MON在触发一个新的循环之前监视文件的变化,每次运行都会执行完整的扫描,而实际上并不使用文件变更数据。)
  • Rsync 。 没有比robocopy更好。
  • DFS 。 我曾经听过MS在DFS上有很多小文件的商店的坏消息。 可能有一半的文件是非常小的。
  • 混合 。 写我自己的工具或find一个在线使用文件观察者来定位需要复制的文件。 尽pipe缓冲区可能会溢出,但仍然可以运行一个夜间的robocopy来拾取任何错过的东西。
  • 基于备份 。 一些疯狂的脚本备份/恢复的事情,备份软件可以做非常快的增量快照。

任何想法将不胜感激,谢谢!

无论您使用什么,请确保它使用NTFS更改日记,以便它不能有效地“轮询”filesytem。 例如,“robocopy / MON”不使用NTFS更改日志,因此最终只是“轮询”文件系统。

我有一位客户使用SureSync将几百万个大小文件(大约1.5TB)复制到“热备份”文件服务器计算机上。 它适合他们。 它使用NTFS更改日志来跟上对卷的更改。 它支持增量压缩和使用专用networking接口进行服务器间通信。 (我跟公司没有联系,我就喜欢这个工具。)

这是我听到有人对DFS-R负面评价的第一个。 我们的经验只是积极的。

在任何情况下,我都会先尝试使用DFS-R,因为除了您已拥有的Windows许可证(假设您已获得Enterprise版本)之外,它不需要额外的硬件或软件。 这也很容易设置。

我们pipe理的最大的DFS-R容量大约是200GB,有一百多万个文件。 显然这比你得到的要小得多,但还是相当大的。 内容主要是软件安装包(其中一些包含数千个小文件)。 我们曾经用NTFRS来复制这个商店,除了问题之外什么都没有。 我们升级到DFS-R时,2003 R2出来,这是一个白天和夜晚的差异。 这些服务器已经升级到了2008年,并且仍然没有出现小故障。

你一定要在不同的主轴上设置你的演奏音量,以达到演奏的效果,而且你还必须把它configuration得相当大。 虽然我并不是真正的专家。 这可能取决于你最大的文件有多大,定期有多lessstream失。 微软PSS的人可能会提供更好的build议。

所以把它设置好,看看它是否足够好。 如果不是这样,你已经失去了一段时间。