https://ccp.cloudera.com/display/CDHDOC/CDH3+Installation#CDH3Installation-InstallingCDH3onUbuntuSystems 我有Ubuntu 8.04，我wget挤压，并试图dpkg它给了我这个错误。 ksn@ksn-test:~$ sudo dpkg -i cdh3-repository_1.0_all.deb (Reading database … 59905 files and directories currently installed.) Preparing to replace cdh3-repository 1.0 (using cdh3-repository_1.0_all.deb) … rm: cannot remove `/etc/apt/trusted.gpg.d/cloudera-cdh3.gpg': No such file or directory dpkg: warning – old pre-removal script returned error exit status 1 dpkg – trying script from the new package instead … […]
看看Cloudera的安装说明，我没有看到任何关于如何以普通用户身份运行作业的提及。 当我尝试运行一个示例工作时，这是我得到的： hadoop jar /usr/lib/hadoop/hadoop-*-examples.jar pi 2 100000 Number of Maps = 2 Samples per Map = 100000 Wrote input for Map #0 Wrote input for Map #1 Starting Job org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=myuser, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x 一种解决方法是设置“/”的权限以允许所有用户写入。 我在网上看到的另一个解决scheme是设置一个属性mapreduce.jobtracker.staging.root.dir但我不确定在哪里设置： http : //getsatisfaction.com/cloudera/topics/unable_to_run_mapreduce_job_in_cdh3_cluster_permission_denied 我猜这是有一个标准的方式来处理（即不是所有运行hadoop作业的用户都有root权限，也不是所有的HDFS root权限） 编辑：仍然坚持这一点，但我转发问题Cloudera的邮件列表..希望有人在这里或这里将回复:)谢谢！
当我在Mac上为Hadoop运行命令时，Hadoop将日志发送到命令行。 我可以用> mylogfile.log自己捕获这个，但是我希望Hadoop或者Apache-logging中的一个设置/选项可以改变这个工作方式。 谢谢！ 更新 ：我发现这个https://stackoverflow.com/questions/2725858/can-apache-httpd-be-made-to-log-errors-to-console-instead-of-log-files-under-wind有一个关于如何修复Apache的build议。 既然这两个使用相同的日志系统，也许这将有助于有人build议一种方法来设置类似的东西？
我已经在我的Ubuntu 12.04单节点上安装了hadoop。我试图执行一个初始化脚本，使hadoop在启动时运行，但每次执行时都会要求input密码。 #!/bin/sh ### BEGIN INIT INFO # Provides: hadoop services # Required-Start: $network # Required-Stop: $network # Default-Start: 2 3 4 5 # Default-Stop: 0 1 6 # Description: Hadoop services # Short-Description: Enable Hadoop services including hdfs ### END INIT INFO PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin HADOOP_BIN=/home/naveen/softwares/hadoop-1.0.3/bin NAME=hadoop DESC=hadoop USER=naveen ROTATE_SUFFIX= test -x $HADOOP_BIN || exit 0 […]
最初我使用捆绑CDH3虚拟机（Cloudera版本的Hadoop）后，我删除了CDH3，现在我在CentOS上使用CDH4作为一个虚拟机（通过VMWare播放器）与主机为Win7 64位。 我需要增加磁盘空间（因为CDH3 VMDK带有4.7GB的空间）。 在vmware播放器设置中有一个扩展磁盘空间的选项。 但是在做坏事之前，我不想让我的虚拟机崩溃。 有没有什么build议或资源可以指出我在CentOS中增加root磁盘空间，或者在VMware Player中为hadoop dfsconfiguration一个新的磁盘空间。
我login（通过SSH）到我的Hadoop集群的NameNode; 我遇到的问题是任何hadoop fs命令，甚至像hadoop fs -ls这样简单的命令都会很快完成，但花费很多分钟才能将shell的控制返回给用户。 例如， hadoop fs -ls立即打印目录列表，但接下来的bash提示不会出现近十分钟。 如果我键入hadoop fs -mkdir没有输出，但是如果我然后打开一个新的SSH会话并键入hadoop fs -ls我将在path中看到目录（当然，我将无法使用任何一个shell而之后）。 我在CentOS 6.2上运行vanilla Hadoop; 我有八个节点。 如果您需要更多信息，请询问。 谢谢。
我写了一个简单的工具上传日志到HDFS。 我发现了一些奇怪的现象。 如果我在前台运行该工具，并用“Ctrl-C”closures它，HDFS中会有一些数据。 如果我在后台运行该工具并使用“ kill -KILL pid ”杀死进程，则数据已经被处理丢失，并在HDFS中留下一个空文件。 我的工具试图通过频繁（每1000行）调用SequenceFile.Writer.syncFs()来进行同步。 而我只是不知道为什么数据丢失。 如果我的工具整天运行，但是机器突然崩溃，所有的数据都会丢失吗？ 我的工具用于收集来自不同服务器的日志，然后上传到HDFS（每天将所有日志聚合到单个文件）。
我是新来的Linux和hadoop，我有这个问题相同的问题。 我想我明白是什么导致它，但我不知道如何解决它（不知道他们的意思是“编辑Hadoop服务器的configuration文件，以便它包括它的网卡的地址”）。 他们链接的另一篇文章说configuration文件应该引用机器的外部可访问的主机名。 我想我得到了这个权利，因为每个hadoopconfiguration文件指的是“主”，etc / hosts文件列出主机的私有IP地址。 我该如何解决这个问题？ 编辑：我有5个节点： master ， slavec ， slavee ， slavee和slavef都运行debian。 这是master的主机文件： 127.0.0.1 master 10.0.1.201 slavec 10.0.1.202 slaved 10.0.1.203 slavee 10.0.1.204 slavef 这是slavec的主机文件（它在其他从机中看起来类似）： 10.0.1.200 master 127.0.0.1 slavec 10.0.1.202 slaved 10.0.1.203 slavee 10.0.1.204 slavef 主人档案： master master站中的从站文件： master slavec slaved slavee slavef slavex的master和slave文件只有一行： slavex
任何时候，我从命令提示符运行hadoop / hbase过程中，我得到一个错误： /usr/local/hadoop/bin/hadoop: line 320: /usr/lib/jvm/jdk1.7.0/bin/java: cannot execute binary file /usr/local/hadoop/bin/hadoop: line 390: /usr/lib/jvm/jdk1.7.0/bin/java: cannot execute binary file /usr/local/hadoop/bin/hadoop: line 390: /usr/lib/jvm/jdk1.7.0/bin/java: Success 我启动hbase时遇到同样的错误。 java version "1.7.0_07" Java(TM) SE Runtime Environment (build 1.7.0_07-b10) Java HotSpot(TM) Server VM (build 23.3-b01, mixed mode) 你能告诉我什么可能导致这个问题？ 谢谢
我在EC2上的开发环境中只有一个数据节点。 我做了一个很重要的MR工作，在6小时内注意到100％的mappers和20％的reducer完成了（减速器的1个显示100％的竞争，其他的0％）。 看起来像是在2个减速机运行之间挂着工作。 我在日志文件中看不到任何错误。 它可能是什么？ PS成功完成减速机的上次logging： 2012-11-09 11:29:21,576 INFO org.apache.hadoop.mapred.Task: Task:attempt_201211090523_0004_r_000000_0 is done. And is in the process of commiting 2012-11-09 11:29:22,692 INFO org.apache.hadoop.mapred.Task: Task attempt_201211090523_0004_r_000000_0 is allowed to commit now 2012-11-09 11:29:22,719 INFO org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter: Saved output of task 'attempt_201211090523_0004_r_000000_0' to /data/output/1352457275873/20121109-053433-common 2012-11-09 11:29:22,721 INFO org.apache.hadoop.mapred.Task: Task 'attempt_201211090523_0004_r_000000_0' done. 2012-11-09 11:29:22,725 INFO org.apache.hadoop.mapred.TaskLogsTruncater: Initializing logs' […]