FTP到GCS传输

我想知道是否有一个有效的方法来从(S)FTP服务器(Exavault),到谷歌云存储(GCS)备份文件。 我们正在使用Exavaultpipe理的FTP服务,并且希望定期将文件备份到GCS,然后从Exavault清除超过30天的文件。

目前的实施(血腥的慢):

  1. 使用curlftpfs FTP挂载到Google Compute Instance上的文件系统
  2. 运行gsutil rsync将文件从挂载的存储器同步到GCS Bucket
  3. 基于mtime +30删除文件

这种方法运行速度非常慢,我不认为这是一个合理的解决scheme。

有什么解决scheme可以做到这一点,500GB的数据,更有效率?

多个ftp客户端,通过在系统中将每个顶级目录挂载为一个单独的curlftpfs。 如果最大化带宽,则发送到多个云服务器。

离线媒体导入。 假设你可以让每个人都参与处理物理媒体。