我们在亚马逊S3中托pipevideo,并使用cloudfront交付video。 这是上个月的数字: 从云端到terminal用户的总stream量为4,2 TB。 其中4TB在欧洲,其余主要在美国。 这花费我们$ 512。 一切如预期。 另外我们还有从S3转移到大约1TB的边缘位置的费用。 = $ 115 这是转让给最终用户的22.4%的成本和18%的总成本。 我想知道,这是正常的吗? 我觉得这有点多。 我们在S3中存储了280GB的video,分布在大约20000个video中。 我们的大部分stream量来自新鲜的video。 当月前100个video占总stream量的80%左右。 我只是觉得,可能太多的video在边缘位置被不必要地下载,并且几乎没有点击。 然后他们被删除,然后再次请求,我们得到另一个下载到边缘服务器。 这个比例是正常的,还是至less有点接近其他人的经验? 我可以通过某种方式告诉cloudfront在启动caching文件之前先设置一个阈值或者什么? 就像:不要caching这个文件,直到你看到一天内接近你的位置x下载。 如果以上是不可能的,是否有其他的提示,我可以如何实现相同的。 不要通过cloudfront服务较less访问的文件,直接转到S3。 我觉得这可能是一个问题,因为我仍然使用云端的stream媒体function。 我没有改变TTL,所以我认为它是标准的24小时。 如果我增加它,这不会改变任何东西,因为如果没有改变,它将不会再次下载文件(它们不会)。 问题是该文件超出caching。
我知道没有直接转换从EBS到S3。 但是有没有一系列的步骤可以做到这一点,或者从头开始重build图像是最好的select? 有没有办法创build一个卷或快照,下载它,重新上传到S3,然后将其捆绑为S3 AMI? 谢谢你的帮助
我有一个运行的微型实例,使用我自定义的8GB EBS。 据我所知,有两种方法可以从这个创build一个AMI。 1)EC2控制台 – >实例 – 实例 – >右键单击实例 – >创build映像(EBS AMI) 2)EC2控制台 – >弹性块存储 – 卷 – >右键单击卷 – >创build快照,然后进入快照,并右键“从快照创build图像” 当我右键单击并从我的私人AMI列表中select“启动实例”,我能够成功地从第一种方法生成的AMI启动一个实例。 但是每当我尝试从第二种方法生成的AMI启动一个实例,状态检查显示1/2检查通过或0/2检查通过。 为什么我无法从快照生成的AMI启动实例?
mysqldump可能不是每隔x个小时运行备份的最好方法,但是我们目前正在使用这个备份。 备份大约每个150兆,所以发送到其他机器可能会浪费许多演出的带宽。 有任何工具或应用程序或脚本,可以自动创build备份和上传到S3亚马逊服务或任何类似的。 谢谢。
我们正在开始一个涉及在S3中存储大量数据的项目。 S3在扩展方面非常出色,我们期望拥有高达5TB和百万的文件。 虽然我可以信任亚马逊存储数据,但我并不认为软件绝对没有错误。 我们有EBS-snapshots机制能够将EBS-volume的状态恢复到之前的状态。 但是,如果我们能够在3天之前把斗状态恢复到状态呢? UPD。 这个问题提出了关于“如何备份整个云计算基础架构的全新想法? 您的灾难恢复计划是什么?” 如何备份Route53? CloudFront设置? 需要多less时间才能从脚本错误中恢复或无法访问根控制台?
我一直在使用aws命令行工具向s3上传大文件(800MB)时遇到问题。 第一次尝试完成(几个小时后),但是不可见,我被告知(这里)它已经被地精吃掉了,我需要重新开始。 我做了一个16MB的文件testing,它做了3部分的上传,并没有问题完成。 我可以用aws s3 ls s3://mybucket看到它。 所以我试着用aws s3 cp bigfile.tgz s3://mybucket 。 但26分钟,我注意到我有三个上传失败,每个看起来像这样: upload failed: ./bigfile.tgz to s3://mybucket/bigfile.tgz HTTPSConnectionPool(host='s3-eu-west-1.amazonaws.com', port=443): Max retries exceeded with url: /mybucket/bigfile.tgz?partNumber=8&uploadId=m_jMF.[elided]UPz (Caused by <class 'ConnectionResetError'>: [Errno 104] Connection reset by peer) 其实第三条消息说:“由于:[Errno 32]破坏的pipe道)”,而不是“由…引起:[Errno 104]由对等方重置连接”。 此时它仍在运行,并说: Completed 16 of 120 part(s) with -2 file(s) remaining 这发生在之前,我只是忽略它,假设如果这是一个致命的错误,它会停止。 现在我想知道是不是又要花上3个小时,又给我一个隐形文件,因为有些部分上传失败了? 如果是这样的话,我的问题是:如何通过互联网连接上传大文件到S3,有时会有这些问题? 有没有办法告诉它不要轻易放弃? 更新:我尝试了在不同位置的免费WiFi,文件很快完成,没有任何这些失败的消息。 […]
我找不到在“Storage Gateway Volume”页面中获取卷使用量(已用空间)的位置。 我不想使用CloudWatch获取信息,应该有一种方法可以在“视图”视图中添加“已用空间”列。 如果我无法检查我的数据使用情况而不是监视iSCSI目标,我将不会使用该产品!
在亚马逊的S3存储系统中,您可以使用特殊的查询string对私有URL进行sorting,并在一段时间后过期。 这样的私人系统是否可以使用基于S3的Amazon CloudFront?
这是我们的MySQL设置: 3个MySQL服务器在“复制环”中:它们都是主设备,S1是从设备,S2是从设备,S3是从设备到S4。 到目前为止,我们会做机器的快照,但这不是我们可以/想要做的事情了。 我们正在尝试将数据库的完整备份备份到S3。 我的想法是,我们需要每隔几个小时制作一次mysqldump ,然后将其上传到S3。 这个问题是,当你有超过几百MB的数据(我们在8GB)时,转储是相当昂贵的。 保存二进制日志是一个选项,但恢复可能需要几天,因为我们需要应用所有的二进制日志:/ 任何真棒解决scheme?
我有一台运行postgres数据库的服务器,其中包含大约200MB的数据。 目前我在家用电脑上有一个cron作业设置: SSH进入我的服务器 运行一个远程脚本,用来备份数据库 scp的转储到我的本地硬盘驱动器进行存储。 每个转储是20MiB。 每六个小时做一次(一个月的备份大概是2GiB) 这个设置的问题是,如果我的本地机器因任何原因停机,将不会进行备份。 另外,我不能从服务器上运行cron,因为我不能从我的服务器(防火墙和所有的垃圾文件)将它scp到我的本地机器上。 我的本地机器运行Ubuntu 10.04,而我的服务器是Ubuntu 9.10服务器版本。 我看着Ubuntu One,但目前它只是gui。 我也研究了Dropbox,但是在没有GUI支持的情况下在Linux下安装是个痛苦的事情。 亚马逊S3看起来不错,但它不是免费的(但又便宜)。 还有其他的select,我应该看看? 我更喜欢的东西,我可以让我的脚本将数据库转储到一个目录,并让备份服务“监视”该文件夹,并相应地进行同步。 我也可以让我的本地机器同步到云备份,所以我有更多的冗余,再加上我的备份方便地访问testing中使用。 编辑:我的服务器是VPS,所以我最终使用的解决scheme必须是100%的软件。