从美国转移10TB文件 – >英国数据中心

我正在将我的服务器从美国迁移到英国,从一个数据中心迁移到另一个数据中心,我的主机说我应该能够达到每秒11兆字节。

操作系统是Windows Server 2008的两端。

我的平均文件大小约为100MB,数据分成5个2TB驱动器。

什么是推荐的方式来传输这些文件?

  • FTP
  • SMB
  • Rsync / Robocopy
  • 其他?

我不太在乎安全性,因为这些都是公共文件,只是想要一个能够推动全部11 MB / s传输速率的解决scheme,以最小化总传输时间。

    改为将硬盘驱动器穿过海洋。

    在11 Mbps的完全利用率下,你只需要花90天就可以转移10TB。


    11 Mbps = 1.375 MBps = 116.015 GB /天

    10240 GB / 116.015 GB /天=〜88.3

    我会说rsync,在11 MB / s,你会看10-14天,即使你被打断,rsync将很容易地开始上次停止的地方。

    在11 Mbps我会推出像上面build议的硬盘:)

    Rsync当然。

    至less你可以在rest之后随时继续,而且没有任何痛苦。

    永远不要低估满载磁带的旅行车带宽

    – 传统

    在你的情况下,通过快递发送磁盘或磁带,但原则仍然适用。 如果你不关心延迟,这将比在任何合理的时间内传输10TB数据的networking带宽便宜得多。

    你应该使用rsync。 它将压缩数据并在发送之前将其解除复制 。 它也可以恢复部分转账,这对于任何大额转账都非常重要。

    它可能不会传输10TB; 如果它的日志和文本等都可以低于1TB; 也许低于1TB。

    有些工具可以比rsync更好地进行压缩,并且可能会find更多的匹配。 你可以使用lrzip

    有一些特定types的数据压缩不好,不包含字面意思,例如video和其他媒体。 在这些情况下,FTP和rsync正在做相同的工作。

    我知道这已经被接受,但你有没有考虑把你的磁盘到一个数据中心/提供商/主机,你可以获得更多的带宽? 这可能会花费你一些钱,但复制10240Gb备份磁盘和发送也将花费时间和金钱(2 x钱)。

    你也一定会确定你的磁盘不会在传输中断。

    11Mbps的? 这是你在这里的一个限制。 在你的情况下,我会简单地说:

    • 克隆数据
    • 压缩它
    • 在两端租用服务器的带宽至less要高出10倍(在相同的数据中心或靠近您的数据中心)。
    • 传输文件
    • 将数据应用到新的服务器。

    如果你真的没有解决scheme来增加带宽…那么运送物理驱动器将会更快。

    从我痛苦的经历中,硬盘往往会打破邮件… USB闪存驱动器是频繁数据传输的一种更好的解决scheme。 在你的情况下,它将需要其中的一些:)因此,发送您的数据在多个硬盘上的2个副本。

    考虑到您拥有的数据量,您也可以从RAID 5或RAID 6arrays发送驱动器,如果在另一侧有相同的硬件/软件来插入驱动器,则在此情况下请记住标记驱动器的顺序和他们的序列号,所以当重新configuration他们不会混淆。

    虽然在这种情况下,我必须同意“使用硬盘驱动器”的答案,但在这里我需要首次复制大量文件时使用的复制解决scheme:

    尽pipersync可以保持两个数据存储的同步,但是它为初始传输带来了相当多的不必要的开销。 我认为最快的方法是通过netcat来pipe理tar 。 在接收方站点上,您还可以使用监听模式下的netcat ,将传入的数据传输到解压缩的tar 。 好处是, tar开始立即发送, netcat发送它作为普通的TCPstream,没有额外的更高级别的协议开销。 这应该尽可能快。 但是,在最后的位置重新开始中断的传送并不是一件简单的事情。

    通过使用正确的tar选项或在pipe道中添加一个压缩工具也可以很容易地压缩传输的数据。 请注意, netcat发送未encryption的date。 如果这不是一个选项,可以使用encryption的ssh连接( tar <options> | ssh <target> -c 'tar -x <options>' )。

    如果所有数据都被传输,则可以使用rsync来确保同时更新的所有文件都是同步的。 此外,IIRC tar不会创build会丢失的套接字,否则它们不会真正用于数据中心数据。

    你考虑过IPoAC吗?

    一只鸽子在一个小时内就能够传输几十亿字节的数据,而在平均带宽的基础上,即使在考虑丢失的驱动器的情况下,也可以非常有利地与当前的ADSL标准进行比较。

    再次,第一个build议是运送驱动器。

    第二个build议是使用rsync到rsyncd,而不是通过SSH。 我尝试了很多东西,通常是最快的。 记得打开压缩。 另外,请查看增加或减lessrsync缓冲区大小以获得最佳传输速率。 这也可能有助于增加您的MTU大小 。 这只有在路由器不分段的时候才有帮助。 有办法确定他们是否做。

    不幸的是,没有一个设置总是最好的。 你必须试着找出在你的情况下最好的方法。

    你提到服务器正在运行Windows 2008. 微软DFS会适合吗? 低端有一些魔法,试图从连接中获得尽可能多的带宽,并且还具有压缩和重复数据删除(IIRC)function。

    请注意,硬盘,DVD或BluRays会更快…我的计算是11天,全部11 MB / s …

    你可以使用这个洪stream。

    创build一个私人的洪stream,并在另一端使用客户端。

    虽然有encryption的地方,你必须检查你的要求。