我们有ambari集群 以下命令将清除整个群集。 而我只想在特定主机上清除HDFS目录，而不是在整个集群上清除！ $ hadoop namenode -format $ hdfs namenode -format 那么只有在特定主机上清除HDFS的命令是什么？
在一个月之前，我们从集群中删除工作者机器（worker23） 现在我们通过API命令将这个工作者添加到集群中 我们开始在工人机器上轻松地使用YARN（nodemanager） 但是当我们尝试启动HDFS时，我们得到这个错误（在/ var / log / hadoop / hdfs下） 如何解决这种情况？ grep -i错误hadoop-hdfs-datanode 错误datanode.DataNode（BPServiceActor.java:run(767）） – 块池（Datanode Uuid未分配）服务的初始化失败master03.sys54.com/133.21.45.211:8020所有指定的目录无法加载。 错误datanode.DataNode（BPServiceActor.java:run(767）） – 块池（Datanode Uuid未分配）服务初始化失败master03.sys54.com/133.21.45.211:8020全部指定目录无法加载。 对于master01.sys54.com/133.21.45.212:8020的块池（Datanode Uuid未分配）服务，初始化失败。 退出。 错误datanode.DataNode（BPServiceActor.java:run(772）） – 块池（Datanode Uuid未分配）服务初始化失败master03.sys54.com/133.21.45.211:8020。 退出。
从一些不明的原因，我们不能启动备用资源pipe理器（YARN） 实际上，当我们开始它卡住了，从ambari GUI进度栏它卡住了10％ 检查纱线的好处（备用资源pipe理器） 我们要检查下面的命令 $> su hdfs $> hdfs fsck / 我们需要search哪些types的错误/警告，以便了解为什么纱线备用资源pipe理器停留在启动阶段 或者其他validation？
我有一个hadoop纱线集群，其工作运行非常缓慢，其中一些卡住了几个小时（以前同样的工作很快，没有什么据我们所知已经改变了configuration）。 我注意到的一件事是，许多集群资源没有被利用： Containers running: 465; Memory used: 3.51 TB; Memory total: 6.57 TB Vcores used: 473; Vcores total: 1310 Containers running: 465; Memory used: 3.51 TB; Memory total: 6.57 TB Vcores used: 473; Vcores total: 1310 Containers running: 465; Memory used: 3.51 TB; Memory total: 6.57 TB Vcores used: 473; Vcores total: 1310你可以看到大约一半的V核和一半的RAM甚至没有被用于工作。 为什么是这样？ 如果有工作被卡住，其他工作悬而未决，那么资源pipe理器不应该将这些工作分散到未使用的节点pipe理器中吗？ […]
我有一个运行Hadoop-0.20.2的共享集群。 偶尔用户不会意识到所select的默认内存设置是基于可用内存量的。 我可以为Xmx执行最大值吗？
我试图在运行Fedora 14的机器上从Hadoop 0.20.2编译hdfs-fuse扩展。下面是我安装的软件包： 保险丝2.8.5-2.fc14.x86_64 熔断器库，2.8.5-2.fc14.x86_64 保险丝-devel的-2.8.5-2.fc14.x86_64 然后，我按照Hadoop wiki上提供的教程： http://wiki.apache.org/hadoop/MountableHDFS 总结一下，这里是我使用的步骤： 在进入$ HADOOP_HOME，我使用下面的命令启动libhdfs的编译： ant编译-C ++ – libhdfs -Dislibhdfs = 1 在第二步中，我将libhdfs库复制到libhdfs文件夹中： mkdir build / libhdfs cp build / c ++ / Linux-amd64-64 / lib / * build / libhdfs 我编译fuse_hdfs可执行文件： ant compile-contrib -Dislibhdfs = 1 -Dfusedfs = 1 -Dlibhdfs-fuse = 1 我的问题是，在最后阶段，我得到以下错误： [exec] Making all in […]
我有nutch / hadoop伪分布式运行良好。 我想添加处理能力，通过添加比主（小于3倍小）更便宜，当然更便宜的新节点。 由于默认的HDFS复制为3，所以在平衡数据后我不会得到更多的空间，这不是我首先关心的。 我还有更多的处理能力吗？ 我不明白map / reduce任务如何对付复制。 它是如何决定哪个节点从不同副本中取出的。
对于一个相对较小的，1TB的集群（复制后的2TB），我试图确定namenode理想的内存/ CPU大小是什么，与hadoop一起工作，我不能想象它是最终用户太疯狂了…但是对于hadoop的最低要求，谷歌search没有给出任何明确的答案，甚至build议的服务器设置。
我试图在我的fedora 13上安装Hadoop 0.23，但是没有安装。在网上，每个人都支持hadoop 0.20安装。 我正在尝试从这里安装。 每当我收到错误， 错误：未设置JAVA_HOME。 我也在当前用户的.bashrc文件中添加了JAVA_HOME。 当我做echo $ JAVA_HOME时，我可以看到它。 任何人都可以指导我如何安装它，好的文章或链接将工作。 或者如果我需要遵循一些步骤？
如果我有一个Apache Web服务器作为一个目录如何访问HDFS集群来上传和修改文件，我想要做什么configuration？ 非常感谢