Articles of 亚马逊 s3

在多个实例中安装一个S3存储桶

我想使用Amazon S3来存储我的网站的所有文件。 我可以正确设置S3QL,以便它挂载在/var/www ,一切正常。 我想这样做,这样我可以创build一个AMI,然后触发多个实例,然后也将相同的S3存储桶挂载到/var/www 这会导致任何数据损坏问题? 这是好的做法吗? 编辑 :这将是读取和写入

从其他aws帐户恢复快照?

我是新手,所以请原谅我的初学者问题。 我有一个目前在我们西部2c的aws帐户。 它有一个实例运行,也是我做的几卷。 我在ec2-create-snapshot命令创build的amazon-s3中有多个备份实例。 如果我当前的ec2服务器崩溃导致某些原因,我无法login到aws帐户,我可以从另一个区域的另一个aws帐户s3中的快照恢复数据? 如果是这样,我怎样才能在CLI?

s3cmd与 – 删除

我目前正在编写一个脚本,用s3cmd同步s3桶中的文件。 我检查文件,它说: s3cmd sync LOCAL_DIR s3://BUCKET[/PREFIX] or s3://BUCKET[/PREFIX] LOCAL_DIR 我也find一个不错的select: –delete-removed Delete remote objects with no corresponding local file [sync] 我用s3cmd sync的第一种forms进行了testing–delete-removed: s3cmd sync -r –delete-removed LOCAL_DIR s3://BUCKET[/PREFIX] 它像一个魅力s3桶将删除任何文件不在我的LOCAL_DIR 但是,当我尝试第二种forms: s3cmd sync -r –delete-removed s3://BUCKET[/PREFIX] LOCAL_DIR s3cmd似乎首先删除LOCAL_DIR下的所有文件,然后从s3存储区下载文件到我的LOCAL_DIR 这显然是浪费时间,所以有另一种更好的方式来同步,而不是先删除我所有的本地文件。 也就是说,将s3存储桶中的所有文件完全复制到本地目录

AWS EC2上的多站点

我正在研究一个旨在完全运行Amazon Web Services的多站点应用程序。 由于它的性质,它会有很大的stream量高峰,其次是长时间的低stream量,所以能够扩展EC2实例是必须的。 到目前为止,我想到的结构是: _____________________ Elastic Load Balancer _____________________ | V _____________________ [] [] [] [] [] [] [] Autoscaling EC2 With Dynamic Virtual Hosts Global Business Logic _____________________ / | \ / | \ Amazon RDS S3 Site Views? One Per Site for static files 现在我有两个问题: 我应该在哪里保存特定于站点的“视图”或“主题”文件? S3能够快速处理这些吗? 或者每次我需要调整特定网站的主题时,是否真的应该创build新的AMI? configuration文件。 由于每个站点连接到一个单独的数据库,他们每个都需要自己的configuration文件。 同样,我是否应该将这些存储在S3上,并且所有EC2实例都会每隔一段时间检查一次S3的更新configuration? 我觉得有一些我不知道的链接。 […]

CloudFront,S3,EC2:除非S3中存在文件,否则如何将请求从CloudFront重新路由到EC2?

我的应用程序使用全部3个服务层。 最近的function请求,以降低传出的stream量给我们一些不确定性。 比方说,我们需要用CloudFront分发image.jpg文件。 没有dynamic调整图像的大小,这一切都很好。 现在,我们不需要图像的原始大小,我们随着查询string( image.jpg?w=100&h=100 )一起传递期望的variables维度。 如果我们直接把CF路由到EC2,根本就不会有任何问题。 但是,我们应该在S3之间,因为EC2太小,不能存储媒体资料。 所以问题是 – 在请求期间如何将不存在的文件推送到S3? 谢谢。

备份到S3 – 我想在不同地区使用桶吗?

我们正在使用Amanda发送备份到S3。 每个主机都充当自己的Amanda“服务器”。 所有主机当前使用相同的S3桶 – 每个主机下都有自己的子文件夹。 转储以“ REDUCED_REDUNDANCY ”保存 – 价格便宜20%,我们认为不太可能,原来的主机和备份都会立即消失。 我们目前没有指定存储桶的存储位置 – 使用默认情况下的任何Amazon。 然而,我们的EC2系统分布在不同的地区,我们想知道,如果可能的话,我们应该使用多个桶 – 在每个地区明确创build一个存储从另一个地区的主机转储。 例如,让us-west-1主机把他们的转储发送到us-west-2存储桶(或者甚至是我们的east-1) – 如果亚马逊完全丢失了一个特定的区域,机器和S3数据)。 这是否有用,或者S3数据已经默认镜像到多个区域? 会不会增加计费成本 – 我们的理解是,写入S3是免费的,存储成本是相同的 – 这是正确的吗? 延迟是没有特别关注的 – 只要带宽保持不错。

如何在S3中存储Cloudfront自定义错误页面?

我在AWS负载平衡器上插入了Cloudfront。 我在AWS文档中看到,我可以自定义Cloudfront自定义错误页面。 我尝试在S3中存储这些错误页面,因为它是在AWS文档中推荐的,但它不起作用。 该文件说: We recommend that you store custom error pages in an Amazon S3 bucket even if you're using a custom origin. If you store custom error pages on an HTTP server and the server starts to return 5xx errors, CloudFront can't get the files that you want to return to viewers because […]

在Amazon S3中实时备份日志的最佳方式是什么?

我想实时备份所有在Amazon S3中的日志,我应该使用哪个工具?

s3服务使用s3cmd工具通过基于URL的防火墙

我背后是一个基于URL的应用程序防火墙,目前使用s3cmd工具来访问亚马逊的S3服务。 做了一些search,要求我把s3.amazonaws.com列入白名单,但是我看到s3cmd使用了一个自定义的URL,这个URL是s3:// [bucket-name]。 在这种情况下,将白名单amazonaws.com仍然工作,还是有什么需要被列入白名单?

EC2到S3上传速度随着实例的增加而减less

我有一个工作,从数据库获取数据,运行一些代码,并将结果上传到S3存储桶。 代码运行大约需要1分钟,结果文件大约为10MB。 EC2实例和S3存储桶都位于us-west-1中。 我一次在多个EC2 m3.large实例上运行此作业的单独实例。 通过多达约175个实例,上传时间不到一秒钟。 这不是很多的同时请求; 也许高达5 /秒。 在将其增加到200个实例之后不久,上传需要40-60秒,有时甚至更长。 看起来,这不应该是一个不寻常的数据发送到S3,并且个别机器似乎没有问题(CPU 40-50%)。 什么可能导致这个? 我可以达到networking带宽限制吗? 如果是这样,我怎么知道? 这些文件是用一个唯一的ID命名的,所以我试着反转ID来分散键(如https://cloudnative.io/blog/2015/01/aws-s3-performance-tuning/所述)。 这并没有改变行为。