我正在为客户端获取数据到示例Redshift群集,但是我无法获得S3的身份validation。 有一个最近的变化,所以我自己的“root用户”访问键不可用于此。 我试着创build了几个IAM用户(首先使用“高级用户”级别,然后再用pipe理员级别)并使用这些密钥,但两者都不适用。 我确认了格式是正确的,我认为… copy gameevents from 's3://s3.amazonaws.com/motigadata/gamestats_GameEvents_v1.csv' CREDENTIALS 'aws_access_key_id=keyid;aws_secret_acccess_key=secretID' delimiter ';' null as '(null)'; 但是我得到这个错误: ERROR: Invalid credentials. Must be of the format: credentials 'aws_access_key_id=<access-key-id>;aws_secret_access_key=<secret-access-key>;token=<temporary-session-token>' Detail: error: Invalid credentials. Must be of the format: credentials 'aws_access_key_id=<access-key-id>;aws_secret_access_key=<secret-access-key>;token=<temporary-session-token>' code: 8001 context: query: 251 location: aws_credentials_parser.cpp:86 process: padbmaster pid=2829 错误不清楚(对我来说); 在证书设置中是否有一些语法错误,或者证书本身是否被接受? 最后,我只validation了S3存储桶的权限设置,让任何人都可以做任何事情。 那么,发生了什么? 帮帮我!
我们有一个包含Windows服务和Web应用程序(基于.NET和Java)的分布式系统。 目前,这些应用程序的大部分初始configuration都是从系统的不同位置取得的,因此我希望集中configurationpipe理。 我们为所有这些服务提供了一堆EC2实例。 我了解到,标签和组对于实例的集中pipe理非常有用。 该解决scheme可以部分基于开发(因为我们有一个小团队的开发人员,几乎可以使用AWS SDK做任何事情)。 现在,我想到了:每个服务器应用程序在初始化时都会向AWS发送请求,获取自己的实例ID,并将其ID发送到将要开发的Web API。 然后,Web API将请求EC2实例ID的标签 ,并从RDS实例中检索自定义configuration。 这是一个适当的解决scheme? 还有其他的做法需要考虑吗?
我现在正在看着一个又一个的镜子,把一个镜子reflection到另一个镜子上,但是看起来我可能会跑到一堵砖墙上? 到目前为止,我已经能够将本地目录备份到S3存储桶,该部分工作的很好。 我真正的问题是,我试图通过支持基本镜像两个桶来创build一个S3存储桶备份。 当我尝试运行duply工具时,我收到以下输出: sudo duply test backup Start duply v1.5.10, time is 2014-07-01 11:49:48. Using profile '/home/user/.duply/test'. Using installed duplicity version 0.6.23, python 2.7.6, gpg 1.4.16 (Home: ~/.gnupg), awk 'GNU Awk 4.0.1', bash '4.3.11(1)-release (i686-pc-linux-gnu)'. Signing disabled. Not GPG_KEY entries in config. Test – Encryption with passphrase (OK) Test – Decryption with passphrase (OK) […]
我正在使用S3将静态图像资产提供给网站。 我是魁北克蒙特利尔的开发者。 我的客户办公室在洛杉矶。 每隔一个月或三个月,我们就会看到S3完全无法将图像提供给客户的位置,持续几分钟到几个小时。 最后一次发生这种情况,我能够证实这个问题并没有影响我在蒙特利尔。 S3状态页面从未报告过我的客户遇到过这个问题的时间。 S3将自己作为托pipe静态资产的一种方式,但这并不是真的可以接受的。 S3的目标是提供99.9%的每月正常运行时间 ,我相信这可以转化为每个月大约45分钟的停机时间 – 即使我们接受这一点,这对CDN来说也是不可接受的! 有任何想法吗?
在我走下这个兔子洞之前,有没有人试过这个? 这是疯了吗? 假设我想在Amazon S3中放置一个日志文件。 但S3没有先读取对象,然后追加,然后回写的能力追加到现有的对象,所以在日志文件中写入每一个新的行变得越来越昂贵。 我可以这样做吗? 每当我追加一个新行时,只需将该行作为s3对象的整个内容即可。 在打开版本的情况下,每个版本都是日志文件的一行,我可以通过检索所有版本来检索整个日志文件。 如果每个日志文件是数十亿行,那么这可能是不好的,但在我的情况下,它会更像是几千。 这可以工作吗? 任何理由不这样做?
例如,如果我将数据存储在美国标准中,那么S3定价页面会指出在弗吉尼亚州北部地区的Amazon EC2转换为每GB 0.00美元。 它看起来像GET请求$ 0.004每10,000个请求。 所以,在我看来,如果我正确地设置了我的美国标准区域S3规则,并且我的客户在弗吉尼亚州北部地区正确设置了他们的EC2实例,那么对于10,000个GET请求,总共花费0.004美元。 (在我的S3存储成本之上。) 如果我的客户想要将数据从EC2中移出,那么成本就是他们的,结算是他们的问题等等。 那么,什么S3桶策略和IAM策略的组合,甚至是传统的S3 ACL,都可以在我的terminal上实现呢?
从http://docs.aws.amazon.com/AmazonCloudFront/latest/DeveloperGuide/PrivateContent.html , 我已经创build了一个OAI,如下图所示 我应该通过许可部分在这里授予OAI的许可吗? 如果是这样,我是否希望在下拉框中看到OAI?
这是一个例子。 S3的什么设置导致s3服务器列出桶内容? 编辑: 我跟随了CélineAussourd的回答,并closures了s3桶的列表。 但不幸的是,云端已经caching了结果,并仍在服务。 这是桶政策: { "Version": "2012-10-17", "Id": "Public webserver policy", "Statement": [ { "Sid": "readonly policy", "Effect": "Allow", "Principal": "*", "Action": "s3:GetObject", "Resource": "arn:aws:s3:::test2/*" } ] }
我必须执行一个rsync (不仅是复制或移动)从s3的所有我的桶到谷歌云。 我需要创build与谷歌s3相同的基础结构。 我喜欢s3中的2Tera,并且每天都会收到新的文件。 我今天的解决scheme是 gsutil rsync -r -m s3:// bucket gs:// bucket 但是这个解决scheme比较慢。 你有更快的理想吗? 谢谢。
我有几个VPC内的Ubuntu机器。 对于其中许多人来说,他们唯一需要的networking访问是“ apt-get update && apt-get upgrade ”和NTP。 对于NTP,我可以简单地在VPC内部安装一个带有互联网接入的NTP服务器。 但是,对于apt来说,我需要创build一个适当的镜像吗? VPCterminal似乎提供了从VPC内部访问S3,显然,Ubuntu有S3适配器镜像。 什么是使用这些S3镜像的正确方法,或者其他人如何pipe理AWS VPC实例内的更新? 看来,创build一个NAT实例将是矫枉过正。 我添加了VPC Endpoint,但仍然无法访问us-east-1.ec2.archive.ubuntu.com 。 使用us-east-1.ec2.archive.ubuntu.com.s3.amazonaws.com ,我得到一个HTTP连接,但只显示404页面未find或403禁止失败。