Hadoop生态系统web仪表板

我试图find一个工具,这将显示我的Hadoop生态系统的状态,健康状况,运行任务等概述。我试图谷歌,但没有find任何。 有一些不错的有用的工具吗?

正在运行的任务,mapred节点状态/健康状况:

http://example.com:50030/jobtracker.jsp

HDFS健康和节点状态:

http://example.com:50070/dfshealth.jsp

将example.comreplace为作业跟踪器/名称节点的IP或主机名。

如果这些端口不正确,请检查您定义的端口的mapred-site.xml和hdfs-site.xml文件。

Cloudera提供了一个专有的工具,它可以完成你所描述的工作,也被称为Cloudera Manager 。 这不是F / OSS,但是它们有一个免费版本,可以让你在有限数量的节点上运行。 这意味着一个完整的生命周期产品,所以它可能有点矫枉过正,你需要什么。

充分披露:我从来没有使用过它自己。 我们在我的公司考虑过,但最终没有使用它。

另一个select是Ambari项目。 目前它在Apache的孵化状态,但我相信Hortonworks是它的主要驱动之一。 这主要是一个configuration和监视框架。 您可以在Hortonworks的网站上看到示例 。 他们做了一篇博客文章,描述如何设置它 。

如果您正在寻找jobtracker或namenode的“漂亮”界面, Cloudera拥有Hadoop用户环境(HUE) ,它提供了您所需要的一些function。 但是,它大部分都是针对非pipe理员的。