从EC2实例访问S3 Bucket中的文件的最佳方式

我已经尝试过几个软件包(goofys,s3fs,fuse),一直没能find解决我的问题的方法。

我有一个S3桶,目前有几千个文件,并将继续增长。 大多数将S3映射到EC2的应用程序只能处理比我所处理的更小的脚印。 文件的交付不是我的select。

所有的文件都小于100KB。 我迄今发现的最大的问题是大量的文件。 我需要一个PHP脚本的方法来轮询文件列表寻找常见的模式,已知build立一个存储列表供将来参考。 即IMG-20160704_01.png在这种情况下,我正在查找包含20160704所有文件。

任何人有这个目前的工作解决scheme?

EC2是Centos 6.5

谢谢。

它可以通过任何AWS SDK轻松完成。 您需要执行以下操作:

  1. 检索位于S3存储桶中的所有对象的列表。
  2. 使用正则expression式根据您的条件过滤列表。
  3. 使用对象列表下载文件

如果您使用PHP,以下文档可能对您有用: http : //docs.aws.amazon.com/aws-sdk-php/v3/api/api-s3-2006-03-01.html

注:我可以为你做python。 如果您有兴趣,请给我留言(我的联系电子邮件在个人资料描述中)