Hadoop:黑名单tasktracker

我在6机器设置上运行Hadoop作业(使用Hadoop 0.20.2); 一台机器是namenode / secondary node / job tracker(master),其他5台机器都是datanodes / tasktrackers(slave)。 这份工作有超过14000张地图,超过10%完成。 当我浏览作业跟踪器“作业详情”页面时,我看到:

Status: Running Started at: Tue Jul 05 18:12:44 PDT 2011 Running for: 66hrs, 5mins, 4sec Job Cleanup: Pending Black-listed TaskTrackers: 1 

我login到有问题的机器,我可以看到任务跟踪器进程正在运行,但机器没有任何工作(最高命令显示CPU利用率<10%)。 我已经用这些命令重新启动任务跟踪器节点

 ./hadoop-daemon.sh stop tasktracker ./hadoop-daemon.sh start tasktracker 

但节点仍然在黑名单中,任务跟踪器正在运行,但机器仍然没有执行任何工作。

问题 :有什么方法可以告诉Hadoop将其“黑名单”并将任务发送到节点? 希望不必重新开始工作?

PS。 确认节点正在运行并在作业开始时执行任务。

把下面的configuration放在conf / hdfs-site.xml中:

 <property> <name>dfs.hosts</name> <value>/full/path/to/whitelisted/node/file</value> </property> 

使用以下命令请求Hadoop根据configuration刷新节点状态。

 ./bin/hadoop dfsadmin -refreshNodes