Articles of 亚马逊 s3

根用户可以访问S3存储桶吗?

我正在尝试为在Debian设备上运行的应用程序testing新的networking监视代码。 我目前的任务是确保在使用FUSE挂载外部networking共享(如S3存储桶)时连接中断,引发SNMP陷阱。 问题是,为了使共享不可访问,我显然必须使文件不可写入(或用iptables阻止每个可能的S3相关的IP),并且如果存储桶是要读取和写入的,我不能阻止写入访问root用户,并由root用户监视。 有没有办法让这个程序,以root身份运行,认为桶下降? PS我不能使用chattr来创build这些桶,因为afaik,S3不支持像不变性这样的属性的概念。

你用什么样的networking服务器硬件来处理100Mbps以上的静态文件?

我目前大部分的静态文件服务需要使用Amazon S3,但是我的每月账单变得非常昂贵。 我使用日志和高峰时间做了一些粗略的计算,我最昂贵的亚马逊桶正在处理 100 180 Mbps的stream量。 大多在50K以下的图像。 S3在存储和冗余方面非常有帮助,但是如果我可以提供帮助的话,我并不需要为带宽和GET请求付费。 我在自己的数据中心有很多廉价的带宽,所以我configuration了一个nginx服务器作为caching代理,然后用大量的文件(大约240GB)启动了caching,这样我的磁盘就不会像疯了一样写空的caching。 我尝试切换, 我的服务器窒息 。 它看起来像我的磁盘是问题 – 这台机器有4个1 TB的SATA磁盘(梭子鱼XT)设置在RAID 10中。这是唯一的我手上有足够的存储空间用于此。 我很确定nginx的设置是正确的,因为我已经使用它作为另一个较小的Amazon存储区的caching代理。 假设这是单个机器的合理stream量,也许SSD是值得一试的。 如果你处理大量的静态文件服务,你使用什么硬件? 附加信息 Nginx:worker_connections = 4096,worker_rlimit_nofile 16384,worker_processes 8,open_file_cache max = 100000不活动= 60m文件系统:ext4,挂载noatime,barrier = 0,data = writeback,nobh

快照== EBS支持的实例,持久性和S3存储?

我想澄清一些混乱,并澄清对EBS支持的EC2实例的理解。 如果从社区映像启动AMI,请根据需要configuration服务器,然后使用EC2仪表板中的“创build映像”选项来创build快照,使用该快照(映像)可以创build更多的服务器configuration和被认为是EBS支持的,是吗? 如果您创build快照并稍后终止您的AMI EC2实例,则该机器将消失,但快照仍然存在,可用于重新创build您的实例,而如果您不创build映像,则在终止时将丢失所有内容。 如果您创build了服务器,创build了映像/快照,然后终止了正在运行的实例,并从快照中创build了一个新的EC2实例,然后在终止(新数据保存到快照)时保持更改,或者恢复为您的快照的保存状态,除非你创build一个新的快照? 创build映像/快照(这些与他们的术语是一样的,是吗?)意味着生成的磁盘映像存储在S3上,它只是不显示在S3桶下,是正确的吗? 那么这些数据会被隐藏在多个站点上以备不时之需? 我想我知道这些答案,但我想validation它。

我如何知道在哪里使用Amazon AWS密钥?

我已经inheritance了Amazon AWS环境,其中Root帐户密钥已广泛分发用于备份到S3存储桶。 我需要跟踪密钥的使用位置,以便我可以用有限权限的密钥replace密钥。 我已经在桶上设置事件通知来发送消息给SQS Q来告诉我什么时候创build对象。 这些消息包含发起对象请求的服务器的IP地址,但不包含正在使用的IAM密钥(仅限使用的Amazon帐户的ID)。 Cloudtrail在这里也没有用,因为S3请求没有写入Cloudtrail。 有什么其他的方式可以告诉我哪个密钥在进行S3请求时被使用? 请注意,这不是一个build议的解决scheme,很好地更新我做了什么。 使用以上build议的方法。 我应该已经更新了这个问题。 # 感谢EEAA 我考虑过这个,但是有数百个水桶正在使用,所以这不是很实际。 我希望在IAM的某个地方能够跟踪关键的使用情况。 鉴于我已经设置了事件和SQS,最终我最终做的是在可能的桶上设置事件,并将S3事件时间戳与IAM的密钥最后使用时间戳提供的时间戳匹配。 这给了我正在使用Root密钥的同时向S3发送请求的服务器的IP地址,从中我可以在几台服务器上find根密钥。 希望在接下来几天检查根密钥时,我将不再看到它被使用。 如果没有的话,我可能不得不根据你的build议设置单个桶的日志logging。

备份到Amazon s3和NAS的最佳做法

我是新来的云莓。 我有一个场景,其中大约2.5Tb的数据从本地服务器被备份到本地networking的NAS和Amazon S3。 这些数据不断被多个用户所改变。 用cloudberry windows server版本来实现这样的最佳实践是什么? 我也想保持某种版本的能力,为有问题的文件。

为了让S3能够正常工作,请问系统pipe理员打开哪个IP范围?

我已经为Raspberry Pi编写了一些程序,一些小公司已经performance出了兴趣。我将他们的预先configuration的Raspberry Pi卖给了他们,并且使用了我的程序,除了其中一个公司外,其他人都可以使用它。 他们有非常严格的政策,这是可以理解的。 我的程序使用亚马逊的S3服务。 我已经给出了为了使程序工作而需要打开的端口和服务的说明,以及访问S3的方法,系统pipe理员对除了一件事情之外的所有事情都说好:他们不能允许端口443互联网。 他们说,我需要指定IP范围。 我一直在做一些研究,似乎S3需要一个巨大的IP范围才能工作,所需的IP地址只是不断增加。 我发现的大多数文档清楚地说明了“端口80和端口443需要打开”,并且S3服务器的IP地址也有所不同。 你有什么build议我可以build议吗? 有防火墙可以通过域名(* .amazonaws.com)过滤吗? 还有什么我可以做的吗? S3有官方IP范围列表,定期更新吗? 从你的任何帮助将非常感激。 谢谢。

Joyent的ZFS和Amazon的EBS(S3)的哪些devisefunction可靠?

我知道这不是一个苹果比较,我试图评估哪一个更安全 – 不太可能丢失数据。 Joyent的SmartOS使用ZFS来存储数据,而EC2机器可以使用在S3上存储其数据的Amazon Elastic Block Store(EBS )。 我想知道什么是使这两个系统可靠的一些build筑细节? 我不太清楚S3的devise是否有多个位置来存储数据。

对Amazon S3存储桶的未经授权的请求

我开发了一个开源的库,并在Amazon S3(CSS,JS)上托pipe它的资源,这些文件通过以下URL用于演示: http://my_bucket_name.s3.amazonaws.com/some-file.js : http://my_bucket_name.s3.amazonaws.com/some-file.js (我的坏,我知道)。 没有我的许可,一些网站开始热链接这些文件。 一段时间没事了,但是最近几个NSFW的大型站点热连接了,一个月内我得到了几千万个GET请求。 所以我删除/移动了这些文件,但是我仍然收到很多GET请求返回403错误,并且Amazon将它们logging为有效的请求(参见费用细节部分 )。 我试图联系我的图书馆,但没有得到任何答复。 我担心,如果我删除了“my_bucket_name”存储桶,其他人可能会使用相同的名称和hotlink恶意JS文件来创build它。 我应该怎么做,以避免错误的请求,我不做?

你可以从S3存储桶中恢复MySQL转储文件到RDS实例吗?

作为灾难​​恢复策略的一部分,我正在调查运行常规MySQL转储到S3存储桶(部分原因是入站数据传输的零成本!)。 在发生灾难时,我想将S3中的转储文件恢复到新的RDS实例。 尽pipe广泛的search,我找不到任何这样的例子。 有谁知道这是可能的吗? 为了给出一点上下文,这是一个500GB的写入重量轻的24×7 MySQL数据库。 我打算使用MySQL复制到一个从机,然后我们可以从主机发生故障的情况下发送到S3的转储(我们使用同一主机提供商复制主机和从机,虽然他们在不同的数据中心)。

MogileFS / GlusterFS / etc + Amazon EBS + Amazon EC2

我有一个Web应用程序,提供二进制文件(图像等)。 我们的应用程序在Amazon EC2上运行。 我们本来打算使用Amazon S3来存储和提供这些文件,这不再是一个选项。 我们需要使用CNAME通过HTTPS传输这些文件。 出于许多技术原因, Amazon S3显然是不可能的。 Amazon提供弹性块存储(EBS) ,允许您在一个实例上安装最大1TB的块。 我们将有多个实例并行访问这些数据。 我在想的是使用分布式文件系统,如MogileFS / GluserFS / [insert-more-here]和弹性块存储(EBS) 。 所以我的问题是:其他人目前正在做什么来在不使用Amazon S3的情况下在Amazon EC2上创build可扩展的(几个100TB)文件存储系统? 数据仍将在Amazon S3上进行备份,但是所有的读取操作都不在文件系统中。 先谢谢了。 如果有人需要澄清任何事情,请随时询问。