rsync从aws s3到gcloud的最佳方式是什么?

我必须执行一个rsync (不仅是复制或移动)从s3的所有我的桶到谷歌云。 我需要创build与谷歌s3相同的基础结构。 我喜欢s3中的2Tera,并且每天都会收到新的文件。

我今天的解决scheme是

gsutil rsync -r -m s3:// bucket gs:// bucket

但是这个解决scheme比较慢。

你有更快的理想吗?

谢谢。

如果您要在云之间同步大量数据,则可以考虑设置Google Compute Engine帐户并在其中运行gsutil。 由于交叉提供者gsutil数据传输stream经gsutil正在运行的机器,这样做可以使您的传输运行速度比在本地工作站上运行gsutil快得多。

参考: https : //cloud.google.com/storage/docs/gsutil/commands/rsync