Articles of amazon s3

在上游读取时中间“上游过早closures连接”

我在服务器上收到一个中间的“上游过早closures连接,而上游读取”错误。 错误只发生在从Amazon S3向服务器请求的数据上,而不在服务器自身的任何文件上。 我的设置如下: 1基于Nginx nginx版本的负载均衡器:nginx / 1.11.5(离开Ubuntu库) 它的configuration是: server { server_name example.com client_body_timeout 12s; client_header_timeout 12s; keepalive_timeout 15s; access_log off; proxy_connect_timeout 1000s; proxy_send_timeout 1000s; proxy_read_timeout 1000s; send_timeout 1000s; location / { set $ua $http_user_agent; if ($http_user_agent = "") { set $ua "Fixing-Empty-User-Agent"; } proxy_pass http://front_least; proxy_next_upstream error timeout invalid_header http_500 http_502 http_503 http_504; proxy_redirect […]

rpc.mountd :/ xxx和/ yyy首先使用相同的主机文件句柄

我使用s3fs-fuse在/yyy上安装了一个S3存储桶,而在/xxx上安装了一个正常的驱动器。 我用NFS导出,但是当客户端尝试安装时,我看到以下错误: rpc.mountd[pid]: /xxx and /yyy have same filehandle for <client_hostname>, using first 非s3挂载使用以下命令导出: /xxx client_hostname(async,no_root_squash,no_subtree_check,rw) 和S3的安装: /yyy client_hostname(async,no_root_squash,no_subtree_check,ro,fsid=1,crossmnt)

使用Cloudflare为AWS S3上的静态站点恢复原始访客IP

我在S3上有一个静态网站,而cloudflare作为我的DNS提供商。 服务器日志收集在S3存储桶中。 但是,日志文件中的访问者IP地址指向了cloudflare服务器,而不是真正的访问者IP。 我知道如何使用EC2上的LAMP / LEMP堆栈,使用real_ip_header恢复原始访客IP。 文章 我怎样才能做到这一点(即恢复原来的访客IP)与S3 + cloudflare。 有没有一个桶政策,让我映射自定义标题(如CF连接IP)访客IP或我可以定制日志格式,以包括这个头?

AWS,S3 + VPC端点

不知道我在这里错过了什么。 我有一个S3桶。 我有一个EC2实例。 我创build了VPC端点,并将其与VPC中的所有子网相关联,其默认策略是: { "Statement": [ { "Action": "*", "Effect": "Allow", "Resource": "*", "Principal": "*" } ] } 我的理解是,我现在应该能够从我的EC2实例访问我的S3存储桶。 当我尝试从S3实例中获取任何东西时,它似乎会挂起很长时间,然后给出: read-s3object : A WebException with status ConnectFailure was thrown. At line:1 char:1 + read-s3object -bucketname go-hubble-team-city-bucket -key 1.exe -file t.exe + ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ + CategoryInfo : InvalidOperation: (Amazon.PowerShe…dS3ObjectCmdlet:ReadS3ObjectCmdlet) [Read-S3Object] , InvalidOperationException + FullyQualifiedErrorId : Amazon.Runtime…,Amazon.PowerShell.Cmdlets.S3.ReadS3ObjectCmdlet […]

亚马逊和亚马逊持久性服务(SimpleDB和S3)

这是关于托pipe一个networking门户。 早些时候,我的拓扑完全基于Amazon AWS,但价格因素(特别是EC2)现在让我重新思考。 我现在快速地来到我终于到达的东西。 我将启动将在Godaddy上托pipe的门户(Windows上的无限计划)。 门户网站使用SimpleDB存储元数据,S3使用blob。 本地可用的MySQL将用于ASP.Net提供者服务。 一旦门户盈利,我打算全部转移到亚马逊。 现在考虑Godaddy和Amazon之间的距离,我会面对“实质性”的性能问题吗? 有什么build议来改善我的拓扑。

Amazon S3:允许用户在限制的基础上上传(每桶可能)?

我正在考虑注册Amazon S3存储服务。 我想要做的是创build一个服务,让其他人可以注册自己的存储桶一定的存储空间。 这些用户将安装我的软件,然后上传他们的文件。 当然,用户只能上传他们已经支付的费用。 为了这个工作,我想为每个客户创build一个独立的存储桶,每个存储桶都有自己的属性。 问题1:这可能与API? 怎么样? 这意味着安装的软件必须具有上传到我的Amazon S3帐户所需的权限。 问题2:我可以为每个存储桶或客户创build个人身份validationID,以便他们只能上传我设定的限制吗? 重要信息:我是欧洲居民,不能在美国做生意,这意味着我不能使用亚马逊的DevPay服务。 更新:看起来像亚马逊有一个100桶的限制。 这似乎不是我的服务。 http://seocracy.com/2009/08/amazon-s3-bucket-limit/ 提前致谢。

S3而不是NFS在AWS上托pipeHA网站

我一直在考虑用EC2创build一个高度可用的设置。 它将涉及多个Web服务器节点,作为多个NFS和数据库服务(后端)的前端。 理想情况下,该平台可以包含多个负载平衡器,以便将stream量平均分配给每个前端节点。 我刚刚遇到一个项目,允许您将S3存储桶直接挂载到Linux文件系统中。 它支持AWS的authentication,所以你可以在那里保存非公开的数据。 有没有人使用过这种types的设置(Web服务器 – > S3 +数据库 – >浏览器)?

点S3桶到顶级域名?

我可以通过创build一个dns条目media> cname> http://s3.amazonaws.com/将名为media.example.com的自定义存储桶指向http://s3.amazonaws.com/media.example.com我的example.com服务器上的media.example.com 。 我的问题是,你能指出一个顶级域名,如果是的话,你如何在DNS中设置它? 这就是说,如果我创build一个名为example.com(无子域)的存储桶,并且在DNS中,我仍然会执行一个cname,并将第一个框留空,请selectcname作为types? 或者我必须指向一个子域名,如“www”,或者它应该是一个logging,而不是一个cname等?

与S3QL鸽舍

由于AWS EC2上EBS卷上的空间周期性耗尽,并且在服务器/卷故障的情况下希望使设置更具有故障抵御能力,因此我正在考虑将Dovecot maildir安装移到S3QL。 这样的设置会不会有问题? 如果是这样,他们会是什么? 我注意到https://code.google.com/p/s3ql/wiki/other_s3_filesystems它不支持来自不同计算机的多个安装。 根据表格,其他文件系统确实支持多个安装,似乎不存在/维护。 是否有任何合适的替代scheme支持同时从多个服务器进行安装? 如果文件系统支持这个,Dovecot实质上是否支持同时访问来自多个服务器的相同邮件? 还有其他更好的方法来处理maildir空间和可靠性的问题吗? 谢谢。

如何将文件夹中的所有文件移动到s3,并删除本地文件?

我想我可以使用 aws s3 sync . s3://s3bucket 但是我不确定在哪里放置 – –delete 另外我想不时地运行这个命令,将本地文件夹中的所有新文件都推送到s3并在本地删除。 我有几十万个文件移动将近40万,需要多长时间,每个文件大约30kb-40kb