gsutil rsync上的慢同步阶段?

我刚开始使用GCS作为我的Web服务器的备份。 一台服务器拥有120万张JPEG(3.5TB),而且这一切都超过10个小时左右。

另一个有250万个JPEGS(只是缩略图/预览 – 总共300GB)。 我第一次做到了“build筑同步化”状态,相当快就达到了250万。 几分钟。 我的会话被中断了(wifi掉线),当我尝试重新运行它时,“At source listing”提示快速通过10000,20000,30000。然后磨合到几乎停顿。 半小时后,只有30万。 我知道它必须计算出目的地有哪些文件,但是我不认为这会显着减慢“源代码清单…”的回声?

这是否表明我的文件系统有问题,如果是的话,我应该检查什么?

或者是否因为任何原因预期行为?

正在尝试使用200万个文件的gsutil rsync到一个桶坏主意? 我可以find没有指导从谷歌有多less文件可以坐在一个桶,所以我假设它是数十亿/无限?

FWIW文件全都嵌套在子目录中,任何一个目录中不超过2000个文件。

谢谢

编辑:我正在使用的确切命令是:

gsutil -m rsync -r /var/www/ gs://mybucketname/var/www 

我发现改变了

 output_chunk.writelines(unicode(''.join(current_chunk))) 

 output_chunk.write(unicode(''.join(current_chunk))) 

在/gsutil/gslib/commands/rsync.py中有很大的不同。 感谢GS团队的Mike的帮助 – 这个简单的改变已经在github上推出了:

https://github.com/GoogleCloudPlatform/gsutil/commit/a6dcc7aa7706bf9deea3b1d243ecf048a06a64f2