有什么方法可以将nagios警报发送给Amazon SNS？ 我已经尝试了以下步骤，但它在Nagios日志文件中给我这个错误： Jul 12 11:38:23 ip-10-134-13-204 nagios3: Warning: Attempting to execute the command "export $NOTIFICATIONTYPE $HOSTNAME $HOSTSTATE $HOSTADDRESS $HOSTOUTPUT $LONGDATETIME | sh -x /etc/nagios3/notify_by_sns" resulted in a return code of 127. Make sure the script or binary you are trying to execute actually exists… 命令脚本： cat /etc/nagios3/notify_by_sns #!/bin/bash ######################################################### export AWS_ACCESS_KEY=XXXXXXXXXXXXXXXXXXXXXXXXXXXX export AWS_SECRET_KEY=XXXXXXXXXXXXXXXXXXXXXXXXXXXX export […]
我正在使用hadoop，需要改变打开的文件ulimit -n 。 我已经看到了类似的问题在stackoverflow和其他地方，并试图在这些答案的一切，但它仍然无法正常工作。 我正在使用ubuntu 12.04 LTS 。 这是我所做的： 改变/etc/security/limits.conf限制，我已经把*和root设置。 我也改变了一些像10000和unlimited数量的限制。 * soft nofile 1513687 * hard nofile 1513687 root soft nofile 1513687 root hard nofile 1513687 我也试过以上的设置-而不是soft 。 经过这些更改之后，我对/etc/pam.d/文件进行了更改，例如： common-session common-session-noninterative login cron sshd su sudo 我已经添加session required pam_limits.so到每个文件的开头。 我重新启动了这个盒子，设置没有生效。 我还发现用户hbase mapred和hdfs在/etc/security/limits.d/目录中有文件。 我试图在这些单独的文件中更改限制也无济于事。 我已经尝试在/etc/profile放入ulimit -S -n unlimited 。 它不起作用。 最后，我已经尝试把limit nofile unlimited unlimited内/etc/init.d/hadoop*文件作为第一行。 不工作。 […]
我们有一个小型的Cloudera发行Hadoop集群（14个节点，但正在增长）。 随着我们扩大使用这个集群，我们发现磁盘存储是我们最大的障碍和要求。 内存和CPU使用量对于我们的工作负载来说是最小的，我们的开发人员已经显着减less了存储的数据量。 我们使用的硬件相对较低端，因此我们已经最大限度地减less了我们可以在每个节点上安装的驱动器数量。 目前我们还没有太空，但是我们有了一个新的数据源，可以加速我们的数据增长，我们希望只是为系统增加存储空间。 系统只有一个扩展卡插槽，目前有我们的SAS HBA运行内部驱动器。 我相信我们可以用具有内部和外部SAS端口的HBA代替它，使我们能够维护内部驱动器并连接到外部驱动器。 在我的理解范围之内，Google的力量在于我无法find最佳的设置来保存外部硬盘驱动器，并让每个服务器直接访问驱动器，即6Gbit / s SAS。 Hadoop HDFS更喜欢在它和硬盘之间没有任何其他技术，我想保持这种方式。 如果我使用的是SATA，我将select一个外部的机架安装的驱动器机箱，它可以将外部eSATA端口直接连接到驱动器内部，而不需要驱动器扩展器或RAID控制器。 我无法在SAS硬件中find等价物。 我试图find的是对DAS SAS的build议，最好带有一个可以为多个服务器提供服务的机箱，除此之外不会有任何创意。 如果不这样做，我有什么select为我们现在使用的SAS驱动器提供相同的存储和速度？ 贾里德
我有一个Hadoop设置，其中configuration的HDFS umask是027而不是默认的。 一些最初创build的目录具有正确的权限（比如tmp drwxrwxrwx ），但其他的如/home不可用（ drwxr-x— ）。 由于我自动地一遍又一遍地创build这个Hadoop部署，我想知道什么时候以及如何创build这些目录来正确解决问题。 我知道我可以在设置后更改权限，但感觉就像是作弊。
介绍 目标：将HDFS从非HA转换为HA。 方法：根据本文档 ，应该可以通过执行以下configuration将HFDS从非转换为HA： /etc/hadoop/conf/hdfs-site.xml <property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property> /etc/hadoop/conf/core-site.xml <property> <name>ha.zookeeper.quorum</name> <value>localhost:2181</value> </property> 并执行以下命令： sudo service hadoop-hdfs-journalnode start sudo service hadoop-hdfs-zkfc start hdfs namenode -initializeSharedEdits sudo -u hdfs hdfs namenode -bootstrapStandby sudo service hadoop-hdfs-namenode start 结果： 14/06/09 15:37:15 FATAL namenode.NameNode: Exception in namenode join java.io.IOException: org.apache.hadoop.HadoopIllegalArgumentException: HA is not enabled for this namenode. at […]
我有一个具有HDFS和Hue服务的cloudera集群，我试图统一使用LDAP的身份validation。 我有我的LDAP服务器运行得益于389-ds（不知道是否是最好的方式），我可以login到用户从LDAP服务器Hue。 当我第一次login时，Hue在HDFS中创build主目录。 但是当我将用户添加到LDAP服务器时，没有使用我设置的UID。 如果我只是通过Hue访问HDFS，但是我也有一台通过NFS安装的HDFS的机器，这不会是个问题。 我也遇到了问题，使用NFS挂载在机器上添加LDAPauthentication。 我可以做su username （用户名是LDAP服务器中的用户），系统添加了主目录，但是我无法通过使用LDAP用户的SSH进行身份validation。 我需要这个来避免添加本地用户。 我的主要问题是：如何强制HDFS或Hue使用我创buildLDAP用户时设置的相同UID。 更多细节： 我已经在cloudera中为Hue和Hadoopconfiguration了LDAP（不知道后者是否正确使用了它）。我知道我可以，也许可以在第一次login时将UID后验更改为由Hue设置的UID，但更多的是解决方法比干净的解决scheme。 图片： 在这个例子中，马铃薯用户有一个uid 10104，但是如果我在NFS挂载中执行ls -la /users/potato ，则表示该文件夹属于uid 3312528423的用户。
我已经安装了Ubuntu 14.04 LTS服务器的7个虚拟机实例。 第一个实例运行namenode服务，所有其他6个节点运行datanode服务。我认为我的NameNode由于某些问题而崩溃或阻塞。 重新启动后，如果我检查JPS命令输出我的namenode正在运行。 在core-site.xml中，fs.defaultfs属性设置为hdfs：// instance-1：8020。 但在netstat -tulpn输出8020端口不在那里。 这是重新启动后的JPS输出。 root@instance-1:~# jps 3017 VersionInfo 2613 NameNode 3371 VersionInfo 3313 ResourceManager 3015 Main 2524 QuorumPeerMain 2877 HeadlampServer 1556 Main 3480 Jps 2517 SecondaryNameNode 3171 JobHistoryServer 2790 EventCatcherService 2842 AlertPublisher 2600 Bootstrap 2909 Main 这是我在jps之后检查的netstat输出。 root@instance-1:~# netstat -tulpn Active Internet connections (only servers) Proto Recv-Q Send-Q Local […]
尝试通过多个（hyper-v）VM在本地设置/模拟Hadoop集群。 我正在使用运行centos linux的hyper-v的hortonworks沙箱镜像。 我可以打到虚拟机，如果我使用内部交换机，然后build立连接从适配器到这个VM，并为交换机分配一个静态IP。 没关系，如果我只是从主机连接，但不是那么好，当另一个虚拟机也想与它交谈。 另外，我不能与多个开关共享连接（或者我可以吗？） 如果我要为hadoop节点使用一个外部交换机，我可以从主机ping它，而不是其他vm，更糟糕的是Hue GUI从端口80到主机不可达。 任何想到什么将是正确的拓扑？
我在ubuntu 14.04 LTS上以伪分布模式运行hadoop 1.2.1，fs命令没有做任何事情，也就是说不会有任何提示，也没有任何错误信息。 问题是什么？ 提前致谢
看来Hive，Impala，Pig和其他所有人都可以对存储在Hadoop集群上的数据提供类似于SQL或SQL的访问。 他们似乎都支持HDFS，S3和其他forms。 那么为什么通过SQL访问Hadoop信息有很多不同的方式，它们又有什么不同，它们的性能如何呢？ 我们有很多不同的版本，因为所有的项目都是同时启动的，原因大致相同？ 如果是这样，知道其中不止一个人有好处吗？ 我发现了一些试图解释差异的文章（例如，用SQL查询hadoop和在Hadoop上select正确的SQL的 10种方法 ，但大多数情况下只是列出了function。