我一直在尝试在EC2服务器上使用s3fs,但速度很慢。 我花了最近5个小时上传100MB的小文件。
有什么我可以做的,以提高性能或是什么有关S3FS? 如果没有,我可以使用什么替代scheme?
S3FS可能不是大量较小文件的最佳select。 S3FS的开销也相当高。 我build议使用像S3Curl的东西
你甚至可以进行并行传输。 只要记住它永远不会像EBS /本地存储那样快。
如果你需要把它作为一个“mountable”存储,我知道的S3FS的唯一select是S3Backer或s3ql
我只是比较了s3fs的riofs。 我的testing用例是一个相对简单的bash脚本,它在每个find的.png上运行pngquant。 在一个具有〜70个图像的testing数据库中,其中〜png(遍布在很多子目录中,这个概率减慢了事物的速度),其结果是:
s3fs:3分54秒
riofs:15.9s
所以对于这个testing案例riofs是〜15倍快! 安装也非常简单,虽然文档有些简单。
对于脚本仍然花了15.9s的事实:效率不是很高,实际上png的png是一个cpu密集的过程。
只要添加riofs混合。 现在我看不到任何基准,但有任何人可以做的问题/要求 。
我用[1],非常好。 这是很多的命令,使访问aws和s3更容易。
我将s3fs与riofs进行了比较,并且由于性能明显改善而几乎改变了。 问题是riofs还没有更新到v4签名,这意味着它不会与法兰克福或中国s3桶。 据业主说,正在进行更新。 如果你不使用法兰克福或中国,riofs是一个更好的select。
我刚刚发布了https://github.com/kahing/goofys的 v0.0.1,这部分原因是s3fs中的性能问题。 文件创build速度是3-6倍,第一个字节的时间是58x。 反馈欢迎!