移动并分割5TB的数据

这是一个场景:我有一个Windows服务器上的文件需要5 TB(是的,这是一个T),我需要尽可能短而有效地迁移到新的服务器上。 (认为​​:Robocopy,Rsync等,因为我打算使用差分来做这个)。 这些文件位于单个父目录(d:\ files \ folder1,d:\ files \ folder2等)下的41,000个目录中。

由于这些服务器正在迁移到新的服务器上,所以我想分解它们,以使它们不是全部位于同一个“文件”目录中,而是在逻辑上尽可能多地分配到多个驱动器上(尝试将驱动器大小保持在2TB左右备份和复制的目的)。

Robocopy没有正则expression式选项。 Rsync需要一个linux服务器,这不是不可能的,但增加了开销:这是一个Windows到Windows的移动。 我已经find一种方法来使用PowerShell循环访问41,000个目录,并为每个目录单独启动Robocopy,从而允许我指定目的地……但这似乎效率低下。

我考虑的另一个select是一次性迁移所有内容,然后根据需要将其副本写入其他驱动器。 这意味着要复制2/3的文件两次。

我错过了什么明显的?

几年前,我已经使用CygWin框架完成了窗口2的窗口rsync。 Rsync + sshd是可以定义的。

我也发现,它看起来像它可能会使得Windows-rsyncing比以往更容易: http ://www.aboutmyip.com/AboutMyXApp/DeltaCopy.jsp

我们通常首先通过物理磁盘来克隆数据,以尽可能快地完成“第一次同步”,然后使用rsync,只通过networking移动增量/差异。