我们目前正在使用Google Storage Nearline进行评估以进行备份。 有问题的服务器位于Hetzner数据中心内,平均上行80-100Mbit / s,下行300-500Mbit / s。 我们使用Googles gsutil来访问存储和它的rsync命令来同步我们的备份目录。 当下载速度足够快时,上传文件的时间太长了:最大上传速度大约是8-11Mbps。 这只会发生在gsutil并不能真正用于备份存储位置。 我知道应该使用并行复合上传来上传大文件,但是Googlebuild议不要启用Nearline 。
现在,我的问题是,预计这些低的上传速度? 有没有一种方法来优化它? 实际上,我们产生的数据超过了我们推向Google Storage的数据量,因此必须寻找其他解决scheme。
如果有大量对象需要同步,则可能需要使用gsutil -m选项来执行并行(multithreading/多处理)同步: gsutil -m rsync -d -r data gs://mybucket/data
“使用-d选项时请小心”。