我正在将我的服务器从美国迁移到英国,从一个数据中心迁移到另一个数据中心,我的主机说我应该能够达到每秒11兆字节。
操作系统是Windows Server 2008的两端。
我的平均文件大小约为100MB,数据分成5个2TB驱动器。
什么是推荐的方式来传输这些文件?
我不太在乎安全性,因为这些都是公共文件,只是想要一个能够推动全部11 MB / s传输速率的解决scheme,以最小化总传输时间。
改为将硬盘驱动器穿过海洋。
在11 Mbps的完全利用率下,你只需要花90天就可以转移10TB。
11 Mbps = 1.375 MBps = 116.015 GB /天 。
10240 GB / 116.015 GB /天=〜88.3 天 。
我会说rsync,在11 MB / s,你会看10-14天,即使你被打断,rsync将很容易地开始上次停止的地方。
在11 Mbps我会推出像上面build议的硬盘:)
Rsync当然。
至less你可以在rest之后随时继续,而且没有任何痛苦。
永远不要低估满载磁带的旅行车带宽
– 传统
在你的情况下,通过快递发送磁盘或磁带,但原则仍然适用。 如果你不关心延迟,这将比在任何合理的时间内传输10TB数据的networking带宽便宜得多。
你应该使用rsync。 它将压缩数据并在发送之前将其解除复制 。 它也可以恢复部分转账,这对于任何大额转账都非常重要。
它可能不会传输10TB; 如果它的日志和文本等都可以低于1TB; 也许低于1TB。
有些工具可以比rsync更好地进行压缩,并且可能会find更多的匹配。 你可以使用lrzip
等
有一些特定types的数据压缩不好,不包含字面意思,例如video和其他媒体。 在这些情况下,FTP和rsync正在做相同的工作。
我知道这已经被接受,但你有没有考虑把你的磁盘到一个数据中心/提供商/主机,你可以获得更多的带宽? 这可能会花费你一些钱,但复制10240Gb备份磁盘和发送也将花费时间和金钱(2 x钱)。
你也一定会确定你的磁盘不会在传输中断。
11Mbps的? 这是你在这里的一个限制。 在你的情况下,我会简单地说:
如果你真的没有解决scheme来增加带宽…那么运送物理驱动器将会更快。
从我痛苦的经历中,硬盘往往会打破邮件… USB闪存驱动器是频繁数据传输的一种更好的解决scheme。 在你的情况下,它将需要其中的一些:)因此,发送您的数据在多个硬盘上的2个副本。
考虑到您拥有的数据量,您也可以从RAID 5或RAID 6arrays发送驱动器,如果在另一侧有相同的硬件/软件来插入驱动器,则在此情况下请记住标记驱动器的顺序和他们的序列号,所以当重新configuration他们不会混淆。
虽然在这种情况下,我必须同意“使用硬盘驱动器”的答案,但在这里我需要首次复制大量文件时使用的复制解决scheme:
尽pipersync
可以保持两个数据存储的同步,但是它为初始传输带来了相当多的不必要的开销。 我认为最快的方法是通过netcat
来pipe理tar
。 在接收方站点上,您还可以使用监听模式下的netcat
,将传入的数据传输到解压缩的tar
。 好处是, tar
开始立即发送, netcat
发送它作为普通的TCPstream,没有额外的更高级别的协议开销。 这应该尽可能快。 但是,在最后的位置重新开始中断的传送并不是一件简单的事情。
通过使用正确的tar
选项或在pipe道中添加一个压缩工具也可以很容易地压缩传输的数据。 请注意, netcat
发送未encryption的date。 如果这不是一个选项,可以使用encryption的ssh
连接( tar <options> | ssh <target> -c 'tar -x <options>'
)。
如果所有数据都被传输,则可以使用rsync
来确保同时更新的所有文件都是同步的。 此外,IIRC tar
不会创build会丢失的套接字,否则它们不会真正用于数据中心数据。
你考虑过IPoAC吗?
一只鸽子在一个小时内就能够传输几十亿字节的数据,而在平均带宽的基础上,即使在考虑丢失的驱动器的情况下,也可以非常有利地与当前的ADSL标准进行比较。
再次,第一个build议是运送驱动器。
第二个build议是使用rsync到rsyncd,而不是通过SSH。 我尝试了很多东西,通常是最快的。 记得打开压缩。 另外,请查看增加或减lessrsync缓冲区大小以获得最佳传输速率。 这也可能有助于增加您的MTU大小 。 这只有在路由器不分段的时候才有帮助。 有办法确定他们是否做。
不幸的是,没有一个设置总是最好的。 你必须试着找出在你的情况下最好的方法。
你提到服务器正在运行Windows 2008. 微软DFS会适合吗? 低端有一些魔法,试图从连接中获得尽可能多的带宽,并且还具有压缩和重复数据删除(IIRC)function。
请注意,硬盘,DVD或BluRays会更快…我的计算是11天,全部11 MB / s …
你可以使用这个洪stream。
创build一个私人的洪stream,并在另一端使用客户端。
虽然有encryption的地方,你必须检查你的要求。