在Linux上将200GB tar.gzfile upload到S3的最佳方法是什么？ 在研究中我发现S3对象的限制已经增加到了5TB，并且了解了多部分上传机制来加速上传。 我find了一个python脚本boto，可能对此有帮助。 有人可以更多地了解这个话题吗？
我想将一个mysql转储压缩到s3。 我试过了： mysqldump -u root -ppassword -all-databases | gzip -9 | s3cmd put s3://bucket/sql/databases.sql.gz 但是然后我得到： ERROR: Not enough paramters for command 'put' 我怎样才能做到这一点？
即时尝试提供从亚马逊S3桶静态和媒体文件，但Nginx无法连接到它 这是我得到的错误 <Error> <Code>AccessDenied</Code> <Message> AWS authentication requires a valid Date or x-amz-date header </Message> <RequestId></RequestId> <HostId></HostId> </Error> 和我的Nginxconfiguration server { listen 80; server_name my_elastic_ip; location = /favicon.ico { access_log off; log_not_found off; } location / { try_files $uri @s3; } location @s3 { set $s3_bucket 'my_bucket.s3.amazonaws.com'; set $url_full '$1'; set $aws_access_key 'my_access_key'; set $aws_secret_key […]
我们运行的服务是提供基于Web（PHP）的应用程序的“工作”，图像，JS，CSS等托pipe在客户自己的Amazon S3帐户上。 这样，他们就可以得到S3使用的综合账单（应用程序使用S3本身），我们不必补贴他们的带宽（没有每月的费用，所以随着它的增长，它会花费我们更多，更多钱）。 我们现在有超过1000个客户，并且推出更新（比如JS的更新）需要很长的时间，而且这个数字在未来几个月将会呈指数级增长。 我曾经考虑过我们拥有的一个源S3存储桶，然后做了COPY请求，而不是在我们的S3存储桶和他们的存储桶之间上传。 这仍然需要时间，但比现在上传要快得多。 不过，我听说没有办法在两个完全独立的S3帐户之间复制，而不使用中介服务器（这明显地击败对象并且实际上将时间加倍）。 真的吗？ 任何人都可以想到一个替代方法吗？
我们尝试设置默认原点为S3的Cloudfront分配，但如果在S3上找不到内容，我们希望它从EC2实例中获取。 我们可以设置这些多个来源：S3和EC2以及两种行为，默认为（*），并在需要时将它们故障切换到第二个原点（EC2）？ 过程如下： 我们的后端在EC2实例上生成图像。 我们尽快将它们上传到S3，但不是立即的。 当用户尝试访问cdn.example.com/images/picture.jpg时，它会将Cloudfront指向我们的S3存储桶，如果图像不存在，我们希望将该请求redirect到EC2服务器。 我们很好，在这里有一个临时的redirect解决scheme，直到它在S3上更新。 S3redirect不是答案，因为S3redirect似乎只适用于现有对象或整个存储桶，而不是丢失的对象。 我们怎样才能做到这一点？ 谢谢，Adoram
所以每个人都把自己的东西放回云端。 但我想从云端备份我的东西。 对于计划中的SaaS服务，用户正在保存包含其知识产权的文件，并将其保存在S3中。 对于他们委托给我在第三方的文件的唯一副本，我并不完全放心。 所以我想在S3的前提下（甚至从AWS直接到Iron Mountain或什么的）做一个好的encryption，删除等备份。 任何人都有一个想法（除了“写脚本”，是的，我可以做到这一点，但我更乐意使用软件有点为了这个目的）。 似乎取消了大多数正常备份软件的资格的事情是，它需要消耗Amazon S3作为源（而不是目的地 – 我知道很多东西是它的目的地）。 我希望它encryption文件，然后把它们放在某个地方，最好不要传输没有改变的文件。 其实我并不是那么挑剔其他细节。 它可以是基于Linux或Windows的，我可以在云中的一个实例上运行它，或者在我的房屋的服务器上运行它，它可以使用任何传输协议。 我想如果有一个好的生产就绪的“安装s3作为一个驱动器”的选项，那么真正的许多备份程序可以承受，包括“ssh + rsync”。 我看到一些这些，但他们都看起来粗略。 有没有人这样做，或知道它可能是最容易完成？ 开源是好的，但我也愿意抛出一些钱，如果它让我很好的function。
我正在寻找一个稳定的解决scheme，以取代经典的服务器备份到另一台服务器使用rsync 。 我必须将整个文件系统（大于1Tb）同步到Amazon S3。 我在哪里？ 解决scheme1：我使用s3fs将S3存储桶映射到系统中的安装点。 系统变得不稳定，stream量真的很慢。 这不是一个解决scheme。 解决scheme2：使用s3cmd sync命令。 一切顺利，速度很快（至less低于2Gb的文件夹）。 当我尝试同步服务器上的所有文件系统时（有一些排除），问题就出现了。 这个过程只是挂起。 任何提示？
我有一个桶有几个公共可下载的文件。 我想build立一个桶策略，之后这些文件只能由我的IAM用户下载。 我目前得到的政策是这样的： { "Version": "2008-10-17", "Id": "Policy1424952346041", "Statement": [ { "Sid": "Stmt1424958477350", "Effect": "Deny", "NotPrincipal": { "AWS": "arn:aws:iam::777777777777:root" }, "Action": "s3:*", "Resource": "arn:aws:s3:::test/*" }, { "Sid": "Stmt1424958477351", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::777777777777:root" }, "Action": "s3:*", "Resource": "arn:aws:s3:::test/*" } ] } 但是，它拒绝包括IAM用户在内的每个人。 任何人都可以指出这里有什么问题吗？
我试图findparsing我们的Amazon S3访问日志来获取一些webstats的方法。 我一直在尝试使用AWStats 7，但是我已经到了指定月份的第9天之后它不能处理更多的日志，因为它耗尽内存。 这台服务器有4gig的内存 我们的S3日志相当大（〜1gig / day），很快CloudFront日志可能会达到10-20gig / day。 有没有什么软件可以从S3（和很快的云端）日志生成webstats？ 我知道s3stat.com，但我想要一些我可以自己运行的东西。
我试图从私人s3桶检索一些文件到文件系统位置elastic beanstalk ec2实例，但没有成功。 我创build了一个名为dev-config的桶，其中包含一个名为local.properties的文件。 我已经创build了一个IAM策略 { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": "s3:*", "Resource": [ "arn:aws:s3:::dev-config", "arn:aws:s3:::dev-config/*" ] } ] } 并将该策略与IAMangular色相关联，该angular色又与EC2实例相关联。 我已经确认，我可以使用aws-cli从s3存储桶获取文件，而不提供任何其他凭据。 即aws s3 ls s3：//dev-config/local.properties 我的项目中添加了以下文件： .ebextensions / 01_files.config "/usr/share/tomcat7/lib/local.properties" : mode: "000777" owner: ec2-user group: ec2-user source: http://s3.amazonaws.com/dev-config/local.properties 我也尝试了一些源代码的变种 source: http://dev-config.s3.amazonaws.com/dev-config/local.properties source: http://dev-config.s3.amazonaws.com/local.properties source: s3://dev-config/local.properties 而且我也尝试添加一个authentication属性没有成功（似乎没有可能的身份validation文件）。 authentication：S3Access 迄今为止，这些方法都没有奏效。 在某些情况下，我在日志中获取拒绝访问的消息： <?xml […]