将大数据从AWS S3迁移到Azure

AWS S3存储桶中有85TB的数据。 将其移至Azure的最佳select是什么?

我现在看到两个选项:

  1. 购买AWS Snowball Edge 。 我能否将数据导入到Azure中?
  2. 购买Azure Data Box 。 我能够将数据从AWS导出到它吗?

还有一个难题是数据是一大堆小文件(图像),那么AWS是否会为GET请求收取费用,如果我们select各自的设备,则会收取PUT请求的Azure费用?

我会打电话给亚马逊和Azure讨论移动这些数据的最新服务。

从我的经验来看,你有两个select:

  1. 通过使用Azure进行数据传输 。 Azure提供了一项名为Azure Data Factory的服务,该服务支持将来自许多供应商和服务的数据移动到Azure中。 您将必须支付获取,投入,数据传输等。
  2. 数据传输设备 。 Amazon和Azure都支持使用物理设备将数据导出/导入到云中。 您将从亚马逊订购一个出口服务,将在雪球上交付。 然后,您可以将Snowball中的数据复制到发送给Azure以供导入的物理磁盘驱动器。

目前85 TB的数据量并不是很大(85 PB),所以数据传输时间可能会less于从Amazon导出数据,复制数据,然后导入到Azure。 鉴于真实的世界,这可能需要一个星期的电线和一个月的出口/import。 这并没有考虑到实际validation数据传输没有错误的时间。 这个阶段可能需要一两个星期。

对于严格的电汇,您可以使用像Cloud Berry Labs的Drive这样的产品,它可以让您将S3和Azure存储映射为字母驱动器。 然后,你可以简单地复制它们之间。 我相信客户端版本可以完成所有你需要的function,因为你不需要在networking上共享驱动器。

云彩莓果实验室

在这个软件的一个注意事项是,它缓冲文件,因为它传输窗口可能会显示其完成传输,但在队列中,它仍然可以传输,特别是大文件,它必须做一个多部分上传。