我将所有EC2实例复制到另一个AWS账户（创buildAMI，与该账户共享并从AMI运行实例）。 我还需要移动我的S3存储桶，因为EC2实例的应用程序正在使用这个存储桶来存储和检索文件。 我想知道是否有可能将所有S3存储桶复制到我的另一个AWS账户。 如果是的话，我怎么能这样做呢？ 提前致谢。 更新 我想我应该澄清这个问题。 我的任务是将我的AWS资料完整备份到我的第二个AWS账户，所以如果有人会伤害我当前的任何东西，我可以轻松地在第二个账户上运行我的实例，以便系统继续工作。 我的MongoDB（在EC2）中的文档具有引用S3文件的logging，应用程序正在使用这些logging。 这就是为什么我想只移动我的所有存储桶并保存文件标识符（如果可能的话）。
我们正在AWS部署一些服务器，需要制定一个通用的备份策略。 要求是： 保留恢复完整的系统或单个文件或子目录的能力，恢复N周（每个系统N不同）。 能够排除某些子树（或挂载点）。 将备份存储在S3（甚至冰川）上。 最大限度地降低成本和时间 – 使用增量备份来避免存储太多未更改文件的副本。 EC2快照似乎是一个明显的解决scheme，但在始发系统仍在运行时恢复单个文件显然并不总是可能的（可怕的“市场产品代码”错误消息 ）。 另外，只能转储整个文件系统（卷） – 没有办法排除任何东西。 这留下了Amanda和Duplicity的“传统”select，现在都有S3作为存储选项。 我是否正确地评估了EC2快照的限制？ 在AWS上比较使用Amanda和Duplicity的任何评论？ 谢谢！
是否有一个只允许用户上传这么多文件的s3策略规则？ 基本上寻找设置用户可以上传的对象的配额。 这是我现在的规则集： { "Version":"2012-10-17", "Statement": [ { "Sid": "AllowUserBucketListInTheConsole", "Action": ["s3:*"], "Effect": "Allow", "Resource": ["arn:aws:s3:::customers"], "Condition":{"StringEquals":{"s3:prefix":["${aws:username}","${aws:username}/*","${aws:username}/"],"s3:delimiter":["/"]}} }, { "Sid": "AllowUserBucketActions", "Action": ["s3:*"], "Effect": "Allow", "Resource": ["arn:aws:s3:::customers/${aws:username}","arn:aws:s3:::customers/${aws:username}/","arn:aws:s3:::customers/${aws:username}/*"] } ] } 我发现了一个如下的策略，但似乎并不奏效。 { "Statement": [ { "Action": ["*" ], "Effect": "Limit", "Resource": "*", "Condition": { "NumericLessThanEquals":{"s3:quota-buckettotalsize": "45"}} } ] }
我有一个生成日志文件到本地文件系统的进程，并且超过2周的文件被自动清除。 我想使用aws命令行工具将我的文件夹与S3同步，具有以下行为： 没有从S3到本地的文件同步 在S3上清除本地文件系统时，文件不会被删除。 S3同步如何以这种方式工作？
更新：第二天一切正常！？！ 所以我认为答案可能是你需要等待一段时间，无论是在创build一个新的IAM用户之后，还是在创build一个新的桶之后，在上传之前都可以工作。 我创build了一个专门的IAM用户，然后做了一个aws configure ，并给出了密钥，并指定了“欧盟西部1”地区。 我可以在〜/ .aws / config中看到正确的信息。 我尝试过aws s3 mb s3://backup但被告知它已经存在。 aws s3 ls证实没有。 然而aws s3 mb s3://backup-specialtest确实有效。 但是，当我尝试aws s3 cp test.tgz s3://backup-specialtest我得到： A client error (AccessDenied) occurred when calling the CreateMultipartUpload operation: Anonymous users cannot initiate multipart uploads. Please authenticate. 这不仅仅是大文件的问题。 我做了一个6字节的文本文件，并尝试上传aws s3 cp test.txt s3://backup-specialtest/但是得到： upload failed: ./test.txt to s3://backup-specialtest/test.txt A […]
我有一个CloudFormation模板用于build立一个ECS集群，我正试图使用ASG上的CloudFormation :: Init将一些configuration文件放到该框上，并将它们从S3中抽出。 "ECSASGLaunchConfiguration": { "Type": "AWS::AutoScaling::LaunchConfiguration", "Metadata": { "AWS::CloudFormation::Authentication": { "S3AccessCreds": { "type": "S3", "roleName": { "Ref": "ECSEC2InstanceIAMRole" } } }, "AWS::CloudFormation::Init": { "config": { "packages": { }, "groups": { }, "users": { }, "sources": { }, "files": { "/etc/dd-agent/conf.d/nginx.yaml": { "source": "https://s3.amazonaws.com/foobar/scratch/nginx.yaml", "mode": "000644", "owner": "root", "group": "root" }, "/etc/dd-agent/conf.d/docker_daemon.yaml": { "source": "https://s3.amazonaws.com/foobar/scratch/docker_daemon.yaml", […]
我有一些我将称之为在AWS Lambda上运行的“microservice”（使用node.js）。 基本上它提供了从几百兆字节的二进制blob中抽取的简明摘要。 有很多可能的输出和预产生的所有可能性是不是一个选项，它需要是合理的响应（最坏的亚秒），因为它是从交互式网页访问（通过API网关），允许参数要迅速改变。 blob中的访问模式基本上是随机的，尽pipe所产生的汇总通常只能访问总数据的〜0.1-1％。 数据和访问模式与将数据存储在数据库中不是很兼容（尽pipe参见下面提到的DynamoDB）。 我目前的方法是在S3上托pipe大的二进制blob，并让Lambda处理程序在Lambda调用之间本地cachingblob（就像javascript代码中的缓冲区一样，范围在hander函数之外;显然，Lambda的内存configuration足够大）。 处理程序实例似乎是持久的，一旦服务器启动并运行，它运行良好，响应速度非常快。 但是至less有几个缺点： S3的数据初始读取似乎在50-60MByte / s左右（似乎与其他有关我看到的S3带宽的报告一致），所以在第一次访问时可能会有一个令人讨厌的多秒延迟。 与前一点相关的是，如果客户机非常活跃并且/或者用户负载增加，则更多的服务器实例被启动并且用户可能发现它们的请求被路由到在获取数据blob时停滞的实例，这导致恼人的毛刺否则顺利运作的客户。 我毫不犹豫地承认，我可能期望从真正意图成为“无状态”的服务中得到太多，因为它实际上有一大块状态（二进制BLOB），但是我想知道是否可以做任何事情改善情况。 请注意，数据不是特别可压缩的（也许可以取1/3的数据，但这并不是我要查找的数量级，或者至less它只是解决scheme的一部分） 。 任何build议如何更快地将数据导入Lambda？ 我想象的是： 把你的数据从其他地方拉姆达斯有更高的带宽…但是什么？ DynamoDB（根据需要分成多达40万个二进制logging）？ ElastiCache？ AWS上的其他东西“菜单”我没有注意到。 使用一些狡猾的技巧（什么？）来“预热”lambda实例。 你完全用错了这个工具。 用…代替？ （尽pipe我确实很喜欢Lambda模型;不需要担心所有的实例configuration和自动扩展，只关注function）。 如果谷歌或微软最近宣布的类似Lambda的产品（我几乎不知道这些产品）有什么特点可以更好地帮助这个用例，那也是非常有趣的信息。 我所考虑的一个select是将二进制数据烘焙成“部署包”，但是250MByte的限制对于某些预期的使用情况来说太低（即使blob被压缩了）。
我正面临着这个问题，我希望让用户直接上传文件到Amazon S3上的存储桶。 这一步可以像这里所描述的那样轻松完成。 但是如果我需要用FFMPEG编辑每个文件呢？ 例如。 shell_exec('ffmpeg -i /sample.wav -acodec libmp3lame /sample.mp3'); 目前，我首先将文件存储到我的服务器，运行shell命令，然后使用putObject将它们发送到S3，但有没有更好的方法来完成这一点，让我的服务器安静？ 我的规格： 运行Ubuntu 14.04的LAMP安装EC2 AWS开发工具包PHP
我喜欢亚马逊AWS，但是我把他们给你的模糊的使用数据撕碎了。 他们似乎只是一个非常高的级别总结，只显示每个服务的每月总费用，或者是一个非常难以阅读的电子表格，它提供了非常详细的使用数据，但是却留下了非常明显的东西，例如每行的成本项目（它只显示你的使用量，所以你必须去find每个服务的速度分开，然后乘以速率x使用得到的成本）。 是否有人知道有哪些工具或服务可以让您更好地了解AWS使用数据，例如，每天的AWS内外带宽成本，或者每个实例的EC2实例成本？ 理想情况下，我希望能够以编程方式提取数据，以便我不必下载电子表格并手动按摩。
我基于http://docs.amazonwebservices.com/AmazonS3/latest/dev/index.html?HLuploadFileJava.html和http：//示例代码实现了S3多部分上传，包括高级和低级版本docs.amazonwebservices.com/AmazonS3/latest/dev/index.html?llJavaUploadFile.html 当我上传大小小于4 GB的文件时，上传过程完成没有任何问题。 当我上传一个13 GB的文件时，代码开始显示IOexception，pipe道破损。 重试后，仍然失败。 这是重复这种情况的方法。 拿1.1.7.1发布， 在美国标准地区创build一个新的桶 创build一个大的EC2实例作为客户端上传文件 在EC2实例上创build一个大小为13GB的文件。 在EC2实例的高级或低级API S3文档页面上运行示例代码 testing三个零件尺寸之一：默认零件尺寸（5 MB）或将零件尺寸设置为100,000,000或200,000,000字节。 到目前为止，问题一直存在。 我在这里附上一个tcpdump文件供您比较。 在那里，S3侧的主机不断地重新设置sockets。