我有很多图像文件,我想以最快和最有效的方式将所有这些文件(大约一百万个在一个目录中)上传到RackSpace云文件。
我正在使用python-cloudfiles
脚本来上传它们,但是它非常慢,我想知道不同的方式或python脚本代码。
可能是非常慢,因为它使用每个上传的一个连接。 我想在tar中发送所有文件并解压目录是更好的办法。 但云文件不支持这种方式。
谁知道其他方式?
如果命名在统计上足够平衡,则可以将上传集分成26个集合,并且每个集合使用一个上传器。
顺便说一下,一些云上传工具在上传大型文件集时存在内存使用问题,所以请留意这一点。
如果这是一次性上传,我喜欢turbolift 。 只要确保降低并发性,以防止高服务器负载(例如 – --cc 4
),并使用 – --internal
通过服务networking上传。
除非降低并发性,否则turbolift将使用大量的CPU和RAM(严重:如果不这样做,可能会导致服务器崩溃)。 如果你有一个强大的服务器,这是非常好的,如果你有一个小型的服务器,这不是很好