Articles of 亚马逊 s3

将Amazon EC2与S3和AWS的AWS结合在一起

如果下面的情况是可行的,我想看看。 另外,如果你认为我发现有什么不对,请不要犹豫。 我不得不为三个不同的地点运行3个不同的服务器(不同的服务器提供商)的公司build立一个系统架构模式,并且他们每个服务器托pipe50 ++网站。 所以,现在呢,就是这样的: server1的: website1.com website2.com website3.com website4.com …. 服务器2: website21.com website22.com website23.com website24.com …. server(服务器): website31.com website32.com website33.com website34.com …. Server1有一个很大的MySql数据库,每个其他服务器(server2,server3和included server1)都使用它与远程mysql连接。 所以, 来自server1服务器的MySQL服务器: server1(本地) server2(远程) server3(远程) 域名website1.com下的Server1有一个包含服务器上所有其他网站(包括服务器1)的图像的文件夹,都必须访问它们。 例如: website1.com使用图片文件image / image1.jpg,同时website2.com和website3.com使用相同的image1.jpg作为http://website1.com/image/image1.jpg 另外,每个服务器上的每个网站都会检查每个文件是否存在。 其实检查是由PHP完成,所以在服务器端。 他们检查图像是否存在本地使用if_file_exist()和远程if (getheaders() ==200 ) 例如 如果访问者尝试访问website1.com,则website1.com(实际上是server1)检查if website1.com/image/image1.jpg exists 。 此外,如果访问者尝试访问website21.com,则网站21(实际上是服务器2)检查if header of http://website1.com/image/image1.jpg == 200 。 所以, server1上的website1.com/image/image1.jpg访问并检查所有网站是否存在图像: […]

CTRL + C上的200K文件aws s3同步

我使用以下命令将包含200k个文件(140GB)的目录同步到存储桶 aws s3 sync target s3:/awesomebucket/key/prefix/ –region ap-southeast-2 我带走了时间。 networking不是那么快。 它几乎没有上传5GB的文件。 输出窗口 如果我在控制台上CTRL + C,会有什么后果? 当我重新运行程序时,它会继续进展吗?

Amazon S3:只允许单个用户访问一个存储桶

尽pipe我尽了最大的努力,即使使用官方AWS Policy Generator和AWS Policy Simulator,我也无法获得正确的策略或策略,只允许一个用户访问一个Bucket。 这是我产生的,但是当我testing时,它失败了。 { "Statement": [ { "Action": [ "s3:ListAllMyBuckets", "s3:GetBucketLocation", "s3:ListBucket" ], "Effect": "Allow", "Resource": "arn:aws:s3:::*" }, { "Action": "s3:*", "Effect": "Allow", "Resource": "arn:aws:s3:::bucket.name/*" } ] } 我正尝试在IAM中将此策略应用于用户。 我究竟做错了什么?

如何使用route53和godaddy添加子域

背景 我已经为S3存储区添加了一个区域来托pipe我的静态网站(指向lobolabshq.com),现在我想为mattermost.lobolabshq.com做同样的工作) 我按照这里的说明为mattermost.lobolabshq.com添加了一个Alogging,当我运行dig命令并指定AWS的名称服务器时,它工作得很好: dig @ns-491.awsdns-61.com mattermost.lobolabshq.com ; <<>> DiG 9.8.3-P1 <<>> @ns-491.awsdns-61.com mattermost.lobolabshq.com ; (1 server found) ;; global options: +cmd ;; Got answer: ;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 55671 ;; flags: qr aa rd; QUERY: 1, ANSWER: 1, AUTHORITY: 4, ADDITIONAL: 0 ;; WARNING: recursion requested but not available ;; QUESTION SECTION: […]

大型的mysql将pipe道转储到s3

有很多数据做这个有什么问题吗? mysqldump … | gzip | s3cmd put – s3://bucket/file.sql.gz MySQL转储大小约为100GB。 如果gzip或s3cmd无法快速处理转储会发生什么? 它会溢出pipe道缓冲区吗?

用于上传到S3并立即过渡到冰川的AWS成本

我有一个客户端向Glacier上传多个TB数据。 他们做了一个雪球,获得了65TB的数据,他们将通过上传完成剩下的25个数据。 目前他们正在使用FastGlacier直接上传到Glacier,但是这个工具是在他们唯一的Windows机器(一个完整的Mac商店)上运行的,并且不断地因排队这么多的数据而崩溃。 此外,这个程序留下了很多关于search/浏览商店的希望,以便查看冰川中的文件,你需要下载清单(4-6小时交货时间)。 为了保持一致性,我们希望上传到我们用于Snowball的S3共享中,并使用生命周期pipe理规则向Glacier进行相同的0天过渡,但是不希望为此产生大量的S3成本。 我知道S3成本是基于当月的平均使用量,但不知道如何估算。

分布式大型文件托pipe

我们在S3上托pipe软件安装程序(〜60Mb),并通过CloudFront提供服务。 我们注意到非正在下载的文件经常从CFcaching中被擦除,因此下载比平常慢。 我怀疑其他CDN提供程序对于不常访问的文件具有相同的行为。 我正在考虑创build4台服务器,而不是S3 + CF:在美国是2,在欧洲是1,在澳大利亚是1。 这些服务器应该覆盖我们的大部分客户。 问题是如何configuration它们以方便,几乎免维护。 使用S3 + CF我花费零时间configuration服务器 – 他们只是工作。 我正在寻找类似的解决scheme。 我虽然从DigitalOcean租用4个小滴,并使用Cloudways来configuration它们。 然后,我将configurationDNS提供商将客户引导到最近的服务器。 这将花费我17 * 4 = 68美元,几乎与我们目前支付的CloudFrontstream量相同。 但是,我不喜欢CloudWays和他们的支持。 有时候,事情根本不起作用,他们手动更换服务器,所以它不是那么容易。 还有其他的select吗?

有没有办法使用Amazon AWS在没有完整VM的情况下为Web应用程序保留文件?

我想将Web应用程序迁移到Amazon AWS。 应用程序存储和检索content/目录中的小型持久数据。 我尝试使用Amazon Elastic Beanstalk部署应用程序,但是当重新启动实例或部署新的构build版本时,新存储的文件将丢失。 使用beanstalk的Amazon解决scheme是创build一个s3存储桶并使用Amazon API来存储数据。 我宁愿不修改我们的代码,并创build完全依赖于亚马逊服务。 有什么办法可以在不改变代码的情况下迁移我的应用程序到亚马逊服务。 我想不要创build一个完整的虚拟机来运行应用程序。

Ansible:PIP使用s3模块直接从s3安装

如何使用Ansible中的s3模块直接从s3安装Pip? 用git我会: – name: Install module from git repo pip: name=\"[email protected]:MYORG/REPONAME.git\" executable=/usr/local/bin/pip2.7 sudo: yes 我可以用s3做同样的事吗? 理想情况下,它看起来像: – name: Install module from s3 pip: name=\"s3+s3://https://s3.amazonaws.com/BUCKETNAME/latest.zip\" executable=/usr/local/bin/pip2.7 sudo: yes

如何识别给定的S3存储区所在的帐户?

我遇到了很多S3存储桶…有没有办法告诉哪个AWS账户有一个给定的S3存储桶? 我只能想到通过我有权访问的每个帐户进行迭代,但我没有许多帐户的密钥在我们的投资组合中。