您推荐使用哪种软件将Amazon S3用作日常备份的占位符? 我需要它完全自动化,并且容易恢复数据。
我们使用S3在我们的webapp中存储了数百万个条目,现在我们把整个东西移到EC2,EU服务器,我们也想把这个S3数据移到EU。 但我们使用的是在美国的桶,似乎没有工具将整个桶内容移动到不同的桶。 以后在切换到EU桶时如何同步数据也会出现问题,迁移过程中会同时创build数据。
我想使用AWS S3 cli将完整的目录结构复制到S3存储桶。 到目前为止,我试过的所有东西都将文件复制到存储桶中,但是目录结构已折叠。 (换句话说,每个文件都被复制到存储桶的根目录中) 我使用的命令是: aws s3 cp –recursive ./logdata/ s3://bucketname/ 我也试过在我的源代码(即参数副本)上留下尾部的斜线。 我也使用通配符来指定所有文件…我尝试的每件事情只是将日志文件复制到存储桶的根目录中。
我正在尝试设置一个简单的基于Amazon AWS S3的网站,如此处所述。 我已经设置了S3存储桶(simples3websitetest.com),给了它(希望)正确的权限: { "Version": "2012-10-17", "Statement": [ { "Sid": "AddPerm", "Effect": "Allow", "Principal": { "AWS": "*" }, "Action": [ "s3:GetObject" ], "Resource": [ "arn:aws:s3:::simples3websitetest.com/*" ] } ] } 我上传了index.html,设置了网站访问权限,可以通过http://simples3websitetest.com.s3-website-us-west-2.amazonaws.com/index.html访问 到目前为止这么好,现在我想设置亚马逊Route53访问,这是我卡住的地方。 我已经在自己的域名(resourcesbox.net)上设置了一个托pipe区域,然后点击“创buildlogging集合”,进入“设置别名”步骤,但是我在S3网站端点下获得“无目标可用”尝试设置别名目标。 我错过了什么??
我必须将400G的文件从弹性块存储卷复制到s3存储桶…这些大约是300k文件〜1Mb 我已经尝试了s3cmd和s3fuse ,他们都真的很慢.. s3cmd跑了一整天,说完了复制,当我检查水桶,什么也没有发生(我想有什么地方出错了,但至lesss3cmd从不抱怨任何事情) S3Fuse正在为其他完整的一天工作,并复制不到10%的文件… 有没有更好的解决scheme呢? 我正在运行Linux(Ubuntu 12.04)
我有兴趣使用Amazon S3备份我们的〜100GB服务器映像(通过Acronis备份工具创build) 很显然,这个每天晚上上传到S3的带宽和成本都是昂贵的。 我正在考虑与S3一起使用rsync,并且遇到了s3rsync。 我只是想知道有没有人使用过这个或其他工具?
有什么方法可以从意外删除Amazon S3 Bucket中恢复? 我们在我们的存储桶中获得了关键信息,我需要降低存储桶本身意外或恶意删除的风险。 我知道我可以在本地同步整个存储桶,但是如果我的存储桶大小为100GB,这不太实际。 任何想法的备份策略?
我真的在AWS中徘徊,试图找出我在这里失踪的东西。 我想使它成为一个IAM用户可以从S3存储桶下载文件 – 而不是只是使文件完全公开 – 但我得到访问被拒绝。 如果任何人都可以发现什么closures,我会兴奋。 到目前为止我所做的是: 创build了一个名为my-user的用户(为了举例) 为用户生成访问密钥,并将其放入EC2实例的〜/ .aws中 创build了我希望为我的用户授予访问权限的存储桶策略 运行命令aws s3 cp –profile my-user s3://my-bucket/thing.zip . 时段策略: { "Id": "Policy1384791162970", "Statement": [ { "Sid": "Stmt1384791151633", "Action": [ "s3:GetObject" ], "Effect": "Allow", "Resource": "arn:aws:s3:::my-bucket/*", "Principal": { "AWS": "arn:aws:iam::111122223333:user/my-user" } } ] } 结果是A client error (AccessDenied) occurred: Access Denied虽然我可以使用相同的命令和默认(root帐户)访问键下载。 我也尝试添加用户策略。 虽然我不知道为什么这是必要的,我认为它不会受到伤害,所以我把它附加到我的用户。 { "Statement": […]
我理解rsync如何在高层上工作,但是有两个方面。 有了S3,就没有什么可说的了 – 好吧,但它基本上只是HTTP。 看起来有几个办法。 s3rsync(但这只是rsync到s3螺栓)。 直截了当。 不知道我想依靠第三方。 我希望S3只是支持rsync。 还有一些rsync“克隆”像口音,声称支持s3没有说螺栓。 但是它怎么能这样做? 他们在本地保存索引文件吗? 我不确定那可以如此高效。 我显然想要使用s3,因为它便宜可靠,但有一些rsync是工具,比如备份一个巨大的图像目录。 这里有什么select? 使用duplicateity + s3代替rsync + s3rsync + s3会损失什么?
我想绘制一个Amazon S3存储桶的大小(以字节为单位),并且正在寻找一种有效的方式来获取数据。 s3cmd工具提供了使用s3cmd du s3://bucket_name获取文件总大小的方法,但是我担心它的缩放能力,因为它看起来像是获取有关每个文件的数据并计算它自己的总和。 由于Amazon以GB-Months为用户收费,似乎很奇怪,他们不直接公开这个值。 尽pipeAmazon的REST API返回了一个桶中的项目数量,但s3cmd似乎没有公开它。 我可以做s3cmd ls -r s3://bucket_name | wc -l s3cmd ls -r s3://bucket_name | wc -l但是这看起来像一个黑客。 Ruby AWS :: S3库看起来很有前景,但只提供了存储桶的数量,而不是桶的总容量。 是否有人知道提供获取这些数据的方法的其他命令行工具或库(更喜欢Perl,PHP,Python或Ruby)?