Hadoop – / usr / sbin / shell脚本的目的是什么?

我正在CentOS 6.4上安装Hadoop 1.1.2。

我阅读了http://hadoop.apache.org/docs/stable/上的所有Hadoop文档

安装之后,我注意到在/ usr / sbin /下有许多shell脚本。 但是这些文档并没有解释大部分的function。

例如:

hadoop-create-user.sh hadoop-setup-conf.sh hadoop-setup-hdfs.sh hadoop-setup-single-node.sh hadoop-validate-setup.sh slaves.sh start-balancer.sh start-jobhistoryserver.sh stop-balancer.sh stop-jobhistoryserver.sh update-hadoop-env.sh 

是否有一些补充文件来解释这些脚本?

hadoop-create-user.sh在/ userpath下的HDFS中设置指定用户的主目录。

hadoop-setup-conf.sh用于在新集群​​上引导集群configuration。

hadoop-setup-hdfs.sh用于格式化HDFS结构,并在HDFS内创build标准目录树。 这是一个破坏性的工具,可能会导致现有群集(如dataloss)发生不好的事情。

hadoop-setup-single-node.sh用于设置单个节点部署,通常称为伪分布式群集。 这将导致所有必要的守护进程在一个系统下运行。

hadoop-validate-setup.sh运行teragen,terasort和teravalidate作为testing你的集群的方法,并确保它正常运行。 这是一个基本的基准。

使用slaves.sh可以在集群中的所有从节点 (基本上是datanode)上运行命令。

start-balancer.sh运行hadoop平衡器 ,这会导致namenode在datanode上四处移动块,以确保所有datanode都使用(大致)相等数量的磁盘空间。 这是一个应定期运行的内务处理任务。

start-jobhistoryserver.sh是启动jobhistory服务器的工具,它提供有关在集群的mapreduce端运行的作业的信息。

stop-balancer.sh和stop-jobhistoryserver.sh与上述两者相反。

update-hadoop-env.sh更新hadoop-env.sh脚本,该脚本用于设置集群中所有hadoop工具和守护程序所需的公共环境variables。

这些东西的文档没有太多的东西。 你只需要在脚本中挖掘一下,看看他们在做什么。