如何以高速将file upload到Rackspace Cloud文件?

我有很多图像文件,我想以最快和最有效的方式将所有这些文件(大约一百万个在一个目录中)上传到RackSpace文件。

我正在使用python-cloudfiles脚本来上传它们,但是它非常慢,我想知道不同的方式或python脚本代码。

可能是非常慢,因为它使用每个上传的一个连接。 我想在tar中发送所有文件并解压目录是更好的办法。 但云文件不支持这种方式。

谁知道其他方式?

如果命名在统计上足够平衡,则可以将上传集分成26个集合,并且每个集合使用一个上传器。

顺便说一下,一些云上传工具在上传大型文件集时存在内存使用问题,所以请留意这一点。

如果这是一次性上传,我喜欢turbolift 。 只要确保降低并发性,以防止高服务器负载(例如 – --cc 4 ),并使用 – --internal通过服务networking上传。

除非降低并发性,否则turbolift将使用大量的CPU和RAM(严重:如果不这样做,可能会导致服务器崩溃)。 如果你有一个强大的服务器,这是非常好的,如果你有一个小型的服务器,这不是很好