我需要从一个NFS系统(NFS系统在AWS中)将几千兆字节的信息移动到Amazon的EFS,但是我需要将这些数据移动到最快的方式。 我试过rsync,但它需要很长的时间,我也尝试使用rsync并行,但它不给我我需要的结果。
数据由多个小文件组成
是否有任何经过validation的方式来非常快速地移动数据,同时确保它到达时不会受到破坏(如rsync)?
移动如此大量数据的最快方法仍然是Sneakernet。 因此, 亚马逊雪球 。 这个设备被运送到您的位置,在那里它可以通过一个万兆以太网连接直接离开您的本地networking传输高达80太字节的数据。 然后它被运回亚马逊,在那里他们将数据上传到您的亚马逊帐户。
对于很多小文件,限制将是源存储和目标存储的IOPS。 rsync不会加快速度,因为它必须读取每个文件,其主要好处是不会传输已经复制的大文件块。
如果您要恢复备份存档,则读取的吞吐量会更大,顺序更高:
cd /mnt/files/ tar -xzf /mnt/backup/files.tar.gz
但是,您必须拥有该备份存档的空间。
而且,恢复的时间点可能是前一段时间,具体取决于进行备份需要多长时间。