我想知道是否有一个有效的方法来从(S)FTP服务器(Exavault),到谷歌云存储(GCS)备份文件。 我们正在使用Exavaultpipe理的FTP服务,并且希望定期将文件备份到GCS,然后从Exavault清除超过30天的文件。
目前的实施(血腥的慢):
curlftpfs
FTP挂载到Google Compute Instance上的文件系统 gsutil rsync
将文件从挂载的存储器同步到GCS Bucket 这种方法运行速度非常慢,我不认为这是一个合理的解决scheme。
有什么解决scheme可以做到这一点,500GB的数据,更有效率?
多个ftp客户端,通过在系统中将每个顶级目录挂载为一个单独的curlftpfs。 如果最大化带宽,则发送到多个云服务器。
离线媒体导入。 假设你可以让每个人都参与处理物理媒体。