我正在CentOS 6.4上安装Hadoop 1.1.2。
我阅读了http://hadoop.apache.org/docs/stable/上的所有Hadoop文档
安装之后,我注意到在/ usr / sbin /下有许多shell脚本。 但是这些文档并没有解释大部分的function。
例如:
hadoop-create-user.sh hadoop-setup-conf.sh hadoop-setup-hdfs.sh hadoop-setup-single-node.sh hadoop-validate-setup.sh slaves.sh start-balancer.sh start-jobhistoryserver.sh stop-balancer.sh stop-jobhistoryserver.sh update-hadoop-env.sh
是否有一些补充文件来解释这些脚本?
hadoop-create-user.sh在/ userpath下的HDFS中设置指定用户的主目录。
hadoop-setup-conf.sh用于在新集群上引导集群configuration。
hadoop-setup-hdfs.sh用于格式化HDFS结构,并在HDFS内创build标准目录树。 这是一个破坏性的工具,可能会导致现有群集(如dataloss)发生不好的事情。
hadoop-setup-single-node.sh用于设置单个节点部署,通常称为伪分布式群集。 这将导致所有必要的守护进程在一个系统下运行。
hadoop-validate-setup.sh运行teragen,terasort和teravalidate作为testing你的集群的方法,并确保它正常运行。 这是一个基本的基准。
使用slaves.sh可以在集群中的所有从节点 (基本上是datanode)上运行命令。
start-balancer.sh运行hadoop平衡器 ,这会导致namenode在datanode上四处移动块,以确保所有datanode都使用(大致)相等数量的磁盘空间。 这是一个应定期运行的内务处理任务。
start-jobhistoryserver.sh是启动jobhistory服务器的工具,它提供有关在集群的mapreduce端运行的作业的信息。
stop-balancer.sh和stop-jobhistoryserver.sh与上述两者相反。
update-hadoop-env.sh更新hadoop-env.sh脚本,该脚本用于设置集群中所有hadoop工具和守护程序所需的公共环境variables。
这些东西的文档没有太多的东西。 你只需要在脚本中挖掘一下,看看他们在做什么。