我有3个节点实例 – master, slave1 and slave2 这些节点之间的SSH连接工作正常。 当我说./sbin/start-dfs.sh时,这是在每个节点上启动的进程 主: SecondaryNameNode Jps NameNode DataNode SLAVE1: Jps DataNode SLAVE2: Jps DataNode 但是当我试图从奴隶节点访问hdfs,我得到一个connection timed out 。 另外,当我检查hdfs dfsadmin -report ,我只看到一个datanode(在master的localhost上)作为hdfs的一部分。 Datanodes available: 1 (1 total, 0 dead) Live datanodes: Name: 127.0.0.1:50010 (localhost) Hostname: master Decommission Status : Normal Configured Capacity: 8309932032 (7.74 GB) DFS Used: 24576 (24 KB) […]
所以,我一直在玩我的自动缩放configuration和我的Cloudwatch警报,试图保持所有的实例呜呜,但不咆哮。 我似乎无法摆脱一个恒定的溜溜球。 CPU使用率上升,引入一个实例,CPU使用率下降,杀死一个实例。 冲洗并重复。 目前,我正在以平均CPU> = 40%的3 x 1分钟间隔进行报警。 也许我可以基于其他东西? CPU是一个棘手的一个,因为当这个图表尖峰(高),我可以看到一些实例与空闲的CPU,所以平均正在提出一个单一的实例。 我发现有些人在得到200的时候会得到502。 显然,我希望这是一致的,并停止这一次的尖峰。 提前致谢。 编辑1:我已经调整了Cloudwatch指标为20%的CPU超过2分钟,还发现一个nginx错误,也可能归因于一些额外的负载。 当前graphics如下所示。 编辑2:负载监控是好多了。 请参阅下面的负载警报。 我收到警报的频率很低,一切都运行得更好。 这就是我每分钟都在运行的东西。 /usr/local/bin/aws cloudwatch put-metric-data –namespace="NS" –metric-name="GroupLoad" –value `cat /proc/loadavg | awk '{print $1}'` –dimensions AutoScalingWebGroup=NS-WebGroup
我公司目前正在将三个内部服务器上的几个网站和PHP Web应用程序(标准LAMP堆栈)迁移到Amazon EC2。 因为我们只有三台服务器,所以我们将几个低stream量的网站集中在一起,可能只有一个高stream量的Web应用程序,并从同一台服务器上提供服务。 服务器pipe理员几乎将以前的体系结构批量复制到EC2实例上,只是简单地增加了实例大小来考虑占用该特定实例的最高stream量客户端。 如果不是部署,这个架构可能没问题。 任何时候这些网站/应用程序之一发生变化,意味着重新部署整个实例,以及它所托pipe的30个网站/应用程序,而不是只更新一个。 我们怎样才能以更模块化的方式构build我们的云? 每个应用程序是否应该有自己的大小适中的实例? 在这种情况下部署的最佳策略是什么?
亚马逊的Elastic Compute Cloud虚拟机服务EC2有许多configuration选项。 所以,我想确认这个configuration对于可伸缩的数据库和web服务器后端是正确的。 我们有一个500 GB的大型数据库。 (OrientDB。) 我们将它镜像到同一个EC2可用区中的另一个虚拟机实例。 我们相信数据库的规模将会迅速增长。 计划是: 获取4个大型实例,这些实例与展示位置组(以及理想的增强型networking)兼容(2个用于网页,2个用于数据库)。 我们使用EBS支持的实例来存储我们的操作系统。 讨论在这里: http : //alestic.com/2012/01/ec2-ebs-boot-recommended 我们可以将临时SSD实例存储设置为交换空间。 (但是即使重新启动,它也会丢失,如果从EBS启动,听到很难添加临时存储,但是可能。) 对于异地备份,我们将定期拍摄快照并将其存储在S3上。 显然,我们需要确保数据库在发生快照时避免损坏时处于安全状态。 (这里的任何提示,除了closures数据库吗?) 如果数据库变得太大,我们需要创build一个更大的EBS卷。 我们可以使用RAID来打破1 TB限制: http : //alestic.com/2009/06/ec2-ebs-raid Web服务器上的静态资产将存储在S3上。 那是对的吗? 还是我错过了什么?
我们希望能够从公司networking中的各种公有IP访问我们的VPC中的实例。 是否可以创build安全组(如运营商安全组),并在其上应用现有安全组实例时inheritance的规则? 我尝试了以下configuration,它不起作用:sg-operator(安全组创build不关联任何实例)端口3389源我的ip:10.10.10.10 sg-server1(安全组关联实例)端口3389源“sg-operator” 在我看来,安全组中添加的规则只有在与实例直接关联的情况下才有效,还有其他方法吗?
我有亚马逊免费层ec2帐户。 已经将我的Java EE应用程序部署到AWS中安装的Apache Tomcat中。 我创build了新的弹性IP,并与AWS的公共DNS相关联。 现在我可以用浏览器中的8080端口打IP地址,我可以看到我部署的应用程序(例如:XX.XX.XX.XX:8080 / login.jsp)。 我已经在方形兄弟中购买了一个DNS(例如:www.think.com)。 现在我想用我已经购买的DNS访问应用程序,而不是使用弹性IP地址(例如www.think.com/login.jsp)任何一个请让我知道如何指向DNS到弹性IP地址。
Amazon资源名称上的AWS文档说 有些服务可让您指定资源名称的path。 例如,在Amazon S3中,资源标识符是可以包含斜线(/)以形成path的对象名称。 同样,IAM用户名和组名可以包含path。 以iam:CreateGroup调用为例。 除了S3和IAM之外,还有哪些服务可以为创build的资源指定一个path?
有一个问题,一个实例变得没有响应,并被迫重启。 重新启动后,我可以ping服务器,但不能SSH到服务器。 最终,我创build了一个新实例,并将卷连接到新实例。 不过,我想确保当我重新启动这个实例时,我不会遇到同样的问题。 看着控制台日志,我看到: [2.968537] EXT4-fs(xvda1):INFO:只读文件系统需要恢复 [2.972324] EXT4-fs(xvda1):写入访问将在恢复期间启用 [3.095607] EXT4-fs(xvda1):只读fs上的孤立清理 [3.354696] EXT4-fs(xvda1):删除了40个孤立的inode [3.358010] EXT4-fs(xvda1):恢复完成 [3.465864] EXT4-fs(xvda1):安装了有序数据模式的文件系统。 选项:(null) 我的sshd_config文件有两个默认的UsePAM设置为no和PasswordAuthentication设置为yes。 我不认为这跟它有什么关系。 我的/ etc / fstab文件被设置为:LABEL = cloudimg-rootfs / ext4 defaults,discard 0 0 / dev / xvdb / mnt auto默认值,nobootwait,comment = cloudconfig 0 2 / dev / xvdg / hd3 auto noatime 0 0 / dev / […]
我正在使用AWS EC2 Linux m3.xlarge运行一个名为“智能信息检索系统”的程序,该程序执行许多到/来自磁盘的I / O操作。 我曾尝试在笔记本电脑和其他集群上运行相同的程序,性能比AWS EC2高10倍,即使实例规格要好得多。 可以解释这种行为的唯一解释是,如果AWS提供单个文件系统来存储所有数据和索引文件,而内部则来自文件的块存储在散布在群集中的不同辅助磁盘上。 它在AWS EC2中以这种方式工作吗?
我有一个工作,从数据库获取数据,运行一些代码,并将结果上传到S3存储桶。 代码运行大约需要1分钟,结果文件大约为10MB。 EC2实例和S3存储桶都位于us-west-1中。 我一次在多个EC2 m3.large实例上运行此作业的单独实例。 通过多达约175个实例,上传时间不到一秒钟。 这不是很多的同时请求; 也许高达5 /秒。 在将其增加到200个实例之后不久,上传需要40-60秒,有时甚至更长。 看起来,这不应该是一个不寻常的数据发送到S3,并且个别机器似乎没有问题(CPU 40-50%)。 什么可能导致这个? 我可以达到networking带宽限制吗? 如果是这样,我怎么知道? 这些文件是用一个唯一的ID命名的,所以我试着反转ID来分散键(如https://cloudnative.io/blog/2015/01/aws-s3-performance-tuning/所述)。 这并没有改变行为。