Articles of amazon s3

针对裸域的链接到S3存储桶的Cloudfront分配的路由53configuration

我正在使用Route 53连接到Heroku上的应用程序的域(example.com)。 为了处理裸域redirect,我使用了一个S3存储桶,如下所示: https : //aws.amazon.com/blogs/aws/root-domain-website-hosting-for-amazon-s3/ 由于S3不支持SSL(https:// example.com无法访问),所以我设置了一个Cloudfront发行版(d2123.cloudfront.net)和一个自定义SSL(与SNI),链接到我的S3存储桶,如下所述: http://stackoverflow.com/a/30495934/1479849 我在“CNAME备用域”字段中input了example.com 当我使用https访问我的云端发行版时,我被redirect到我的网站www.example.com,这告诉我我的configuration是正确的。 我在最后一步遇到问题,当我设置路由53将example.com链接到我的Cloudfront发行版时。 我创build了一个ALIAS(从example.com到我的Cloudfront), https ://example.com被redirect到https://www.example.com (Yay!),但http://example.com/ *返回一个Cloudfront错误 任何人都知道如何将route53设置为一个连接到S3处理redirect的Cloudfront发行版的ALIAS?

CloudFront是否支持KMSencryption对象的S3签名版本4?

我正在使用Cloudfront和一个使用KMSencryption对象的S3来源。 发送S3存储桶中的对象的GET请求时出现以下错误。 Requests specifying Server Side Encryption with AWS KMS managed keys require AWS Signature Version 4. 我认为Cloudfront在使用AWS签名版本4时足够聪明,但可能不是? 看起来这是新S3地区的问题 。 亚马逊最近增加了对这些新地区的支持 ,但是我不认为他们已经用KMSencryption的对象解决了这个问题。 有没有人有这方面的经验,并知道是否有办法让Cloudfront的原产地访问标识使用签名V4?

使用AWS S3导致“未find服务器”的CNAME

我有一个设置了CNAMElogging的goDaddy网站,以查看我S3帐户中的特定存储分区。 它工作正常,加载文件没有问题。 我有一个服务器SliceHost有一个CNAMElogging(“静态”)设置完全一样的goDaddy(与适当的域名更改)。 当我尝试访问子域中的文件时,但是,我得到一个“服务器未find”的错误。 如果我尝试直接访问存储桶文件,它工作正常。 dig和nslookup揭示了这个子域名确实最终指向了亚马逊。 下面是挖掘的答案部分: static.imdoingscience.com. 2201 IN CNAME static.imdoingscience.com.s3.amazonaws.com. static.imdoingscience.com.s3.amazonaws.com. 60 IN CNAME s3-directional-w.amazonaws.com. s3-directional-w.amazonaws.com. 39 IN CNAME s3-1-w.amazonaws.com. s3-1-w.amazonaws.com. 59 IN A 72.21.207.241 我不知道它是否重要,但非工作实例是运行nginx的Ubuntu Hardy LTS。 我不认为这应该是因为一个CNAMElogging似乎是在名称服务器级别的redirect(我只是进入这个东西)。

带宽友好的tar备份策略?

我们已经使用tar来备份和压缩(gzip)我们的文件服务器上选定的目录,直到最近才有很好的结果。 我们的每一个备份都存储在镜像(RAID)硬盘上,并同时上传到Amazon S3存储桶以进行非现场存储。 由于近期我们的数据增长迅速,我们的备份也是如此。 本周,我们的备份上传一直在全天候运行,只是为了同步最近7天的新备份,但仍然没有完成。 获得更好的连接可以解决这个问题(目前我们不能这样做),但是我认为应该更好地创build一个真正的解决scheme,而不是寻求解决方法。 有什么替代策略,使我们远离多位数字的GB文件,仍然让我们使用tar ,我们可以用来备份我们的目录,这将减less同步文件所需的带宽量?

自动将git仓库同步到Amazon S3站点

我正在使用Amazon S3网站托pipe一个网站。 我打算使用git repo来存储内容和版本,我希望回购一旦检查到主分支后自动更新S3站点。 这可能吗? 理想情况下,我想使用一个服务,如Github或Bitbucket来承载回购。 很高兴成立一个VPS来运行一个进程来pipe理git仓库和S3之间的同步。

HTTPS通过Cloudflare访问S3存储桶

我正在尝试使用Cloudflare提供对s3存储桶的https访问。 我已经在Cloudfront中设置了CNAME条目,指向了存储桶,并且我已经validation了我可以通过http访问它,但是当我尝试使用https访问内容时,出现521错误,提示服务器即存储桶不可用。 是否有可能通过https的前面一个s3桶通过cloudflare或被阻止?

aws s3 sync:如何排除proc,sys目录

我似乎无法得到aws sync s3命令排除目录。 我从位于/ vz / root / 100的OpenVZ备份安装的文件系统。 我的命令是: aws s3 sync /vz/root/100 s3://[mybucket]/vz/root/100 –exclude="proc/*" –exclude="sys/*" 我努力了: –exclude="proc/" –exclude="/proc" –exclude="*/proc/*" –exclude="/vz/root/100/proc" 无论我做什么,同步过程仍然通过proc目录recursion。 我在2013年看到一个问题,排除不起作用,但根据他们“固定”。 # aws –version aws-cli/1.9.5 Python/2.6.6 Linux/2.6.32-042stab111.12 botocore/1.3.5 有任何想法吗?

如何parsings3日志?

我一直试图parsing文档中的 AWS S3日志,但是我遇到了一些问题。 具体来说,我不断遇到新的,罕见的日志行,打破了我的正则expression式。 每次发生这种情况时,我修改我的正则expression式来解释这些行,但是我真的希望一劳永逸地解决这个问题。 挑战在于,用户代理字段显然允许包含任意字符(包括引号)(甚至不会被转义!)。 我最近遇到以下logging,例如: 8b24a6e5b101a6376ebfd307854b8379da11acdc3efc2a2cbbf305b4a2af8de7 —–redacted-bucket-name—– [13/Nov/2015:18:43:39 +0000] 86.3.176.75 – 6AA66FF0D0ACB8BF REST.GET.OBJECT a.gif "GET /—–redacted-path—– HTTP/1.1" 200 – 26 26 18 17 "http://www.waldorfford.com/new/Ford/2015-Ford-Transit+Connect-7f06c8800a0a006400f609b1db0568a3.htm" "Mozilla/5.0 (Linux; Android 5.0.1; Alba 7" Tablet Build/LRX22C) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.76 Safari/537.36" – 我的parsing器成功parsing了超过四百三十万个日志行,然后在这个gem上窒息。 在过去,parsing器也扼杀了这个logging,在将正则expression式的<referrer>部分改为非贪婪之前: 8b24a6e5b101a6376ebfd307854b8379da11acdc3efc2a2cbbf305b4a2af8de7 —–redacted-bucket-name—– [26/Sep/2015:12:59:27 +0000] 67.248.97.42 – C5EBC1D929EBBD53 REST.GET.OBJECT a.gif "GET /—–redacted-path—– HTTP/1.1" […]

反向代理到Cloudfront CDN

我们希望将所有请求转发到domain.com/foo到Cloudfront前面的S3 Bucket。 这个想法是我们的​​域名是在从S3 / Cloudfront加载内容的时候使用的。 我有Apache安装程序将代理请求反向地转换为/foo : <Location /foo> RequestHeader set X-Forwarded-Proto "https" ProxyPassReverseCookiePath / /foo ProxyPass http://bar.cloudfront.net/ ProxyPassReverse http://bar.cloudfront.net/ </Location> 但是,当我点击domain.com/foo我得到了来自Cloudfront的403 Forbidden 。 我试着添加头RequestHeader set Host "bar.cloudfront.net" ,页面加载,我看到在s3桶中的内容,但是,然后该域显然是CDN域。 更新: 我将Apacheconfiguration中的云端URLreplace为s3存储区的公用URL,并在保留主机名的情况下工作。 所以我相信这证实了Cloudfront的一个问题。 我在CloudFront上将我们的域名添加为CNAME。 然后使用/foo将RequestHeader set Host为我们的域名。 这会保留主机名称,但会导致CloudFront发生400错误。

将多个DNS条目别名到一个Amazon S3存储桶

我在Amazon S3上有一个存储桶。 让我们称之为“webstatic.mydomain.com”。 我有一个DNS别名设置的斗webstatic.mydomain.com CNAME – > web-static.mydomain.com.s3.amazonaws.com。 这一切都很好,但是由于一些相当复杂的原因,我现在需要: webstatic.myOtherDomain.com指向同样的亚马逊桶,所以: webstatic.myOtherDomain.com CNAME – > web-static.mydomain.com.s3.amazonaws.com。 失败,因为存储桶的名称与引用的DNS不同。 谁能告诉我如何有两个不同的DNS条目指向相同的亚马逊桶?