CDH4's ZooKeeper Failover Controller (ZKFC)已经安装。 开始ZKFC服务： [vagrant@localhost ~]$ sudo service hadoop-hdfs-zkfc start Starting Hadoop zkfc: [ OK ] starting zkfc, logging to /var/log/hadoop-hdfs/hadoop-hdfs-zkfc-localhost.localdomain.out 似乎不工作，因为日志文件是空的： sudo vim /var/log/hadoop-hdfs/hadoop-hdfs-zkfc-localhost.localdomain.log 题 如何运行HDFS'ZKFC？
我对hadoop很陌生，并且提到“傻瓜版”（hadoop for dummies）这本书。 我有一个VM与以下规格：hadoop版本2.0.6-alpha bigtop os centos 问题是当我运行任何hdfs文件系统命令我得到以下错误： hadoop hdfs dfs -ls error : Could not find or load main class hdfs 请指教
我正在尝试保护安装在Windows中的Hadoop环境 。 所以基本上我开始分析如何保护一个基于Unix的hadoop集群。 已经经历了与Kerberos和其他Apache加载项（ Knox / Rhino / Sentry ）相关的各种链接。但是为了检查它们中的每一个， 与此同时，发现有关用户pipe理（LDAP）的Active Directory。 此外，AD似乎默认安装了Kerberos。 所以如果AD本身包含LDAP和Kerberos，就不能单独使用Active Directory来保护hadoop集群？ 所有这些Google的build议链接都提供了一个框架来保护公司任何一个基于Unix的hadoop集群， 授权 – Active Directory（LDAP）， 身份validation – Kerberos 再来一次，我的问题是我们不能单独使用Active Directory来确保hadoop集群？
如果数据节点出现故障，我需要在HDFS集群上重新复制块。 事实上，这似乎已经发生了10分钟的时间。 但是，我想减less这个时间，但想知道如何去做。 我试图设置dfs.namenode.check.stale.datanode但没有任何大的成功。 那么什么是configuration选项或什么是我可以调整在这里可能会减less到1分钟的选项？ hdfs-site.xml的完整部分看起来像这样 <property> <name>dfs.namenode.check.stale.datanode</name> <value>true</value> <description>Activate stale check</description> </property> <property> <name>dfs.namenode.stale.datanode.interval</name> <value>10</value> <description>Timeout</description> </property>
我成功安装了一个HDP 2.2集群（1个NM，3个DN和1个客户端）。 在客户端创build用于访问HDP集群的用户帐户，并检查这些用户是否可以通过SSH提交作业到客户端节点并运行样本作业。 在下一步中，我启用了Kerberos身份validation，并创build了与客户端用户对应的用户主体。 所有的事情都按预期顺利进行。 然后我以用户的身份login到客户端PC，生成Kerberos票据kinit，然后尝试运行样本作业，但是作业提交失败： user <user name> not found消息。 为了在Secure HDP集群中以用户身份运行作业，是否必须在集群中的所有节点上创build用户？
我使用Flume flume-ng-1.5.0（与CDH 5.4）从许多服务器收集日志并接收HDFS这里是我的configuration： #Define Source , Sinks, Channel collector.sources = avro collector.sinks = HadoopOut collector.channels = fileChannel # Define Scribe Interface collector.sources.avro.type = avro collector.sources.avro.bind = 0.0.0.0 collector.sources.avro.port = 1463 collector.sources.avro.threads = 5 collector.sources.avro.channels = fileChannel collector.channels.fileChannel.type = file collector.channels.fileChannel.checkpointDir = /channel/flume/collector/checkpoint collector.channels.fileChannel.dataDirs = /channel/flume/collector/data #collector.channels.fileChannel.transactionCapacity = 100000 #collector.channels.fileChannel.capacity = 1000000000 #Describe Haoop Out collector.sinks.HadoopOut.type […]
我正在尝试使用基于存储的安全性来保护Hive。 我正在使用Kerberos和LDAP。 我想要得到的是Hive创build目录和文件作为HDFS用户（和他们的主要组）。 这样我希望能够限制基于组成员身份访问数据库。 所以例如当我通过Kerberos使用kinit（import @ REALM）进行用户“导入”（在组“导入”）中的身份validation并运行beeline'CREATE DATABASE test'时， 我期望看到： drwxr-x— – import imports 0 2015-08-28 10:16 /user/hive/warehouse/test.db 但是我得到的是： drwxr-x— – hive data 0 2015-08-28 10:16 /user/hive/warehouse/test.db 请注意，仓库目录权限是： drwxrwxr-t – hive data 0 2015-08-28 11:14 /user/hive/warehouse 另外我注意到，当我使用hadoop fs -chown手动更改所有权时，我仍然可以删除不属于我的数据库！ 另外当我使用hadoop put我得到正确的权限。 这是否可能在蜂巢？ 我目前的configuration是： 核心-site.xml中： <property> <name>hadoop.security.authentication</name> <value>kerberos</value> </property> <property> <name>hadoop.security.authorization</name> <value>true</value> </property> <property> <name>hadoop.proxyuser.hive.hosts</name> <value>localhost,master.dev.data</value> […]
我尝试按照以下教程来configurationhadoop高可用性集群： http://www.edureka.co/blog/how-to-set-up-hadoop-cluster-with-hdfs-high-availability/ 当我遵循这篇文章时，我面临两个主要问题： 1. hdfs namenode -bootstrapStandby（我不能使用这个命令，因为Standby节点上的Namenode没有启动。）为了解决这个问题，我使用这个命令之前手动在Standby节点上运行namenode。 2.当我运行第二个ZKFC（在备用节点上）时，它杀死了Namenode进程，我甚至无法手动启动它。 这就是为什么Namenode只在Active节点上启动的原因。 如果我们杀死活动节点，则备用节点继续无效（它不会启动Namenode）。 有人知道那篇文章有什么问题吗？
我正在尝试在我的mapR上发布redhat虚拟机。 它预装了mapR生态系统。 我通过yum安装elasticsearch。 我可以从vm里听： [root@maprdemo elasticsearch]# curl -XGET 'localhost:8080/?pretty' { "name" : "QYCiQJi", "cluster_name" : "sdc-search", "cluster_uuid" : "bMSLPA3uR5WKbtwKP0Sl7g", "version" : { "number" : "5.0.1", "build_hash" : "080bb47", "build_date" : "2016-11-11T22:08:49.812Z", "build_snapshot" : false, "lucene_version" : "6.2.1" }, "tagline" : "You Know, for Search" } …但不是从机器外面 我可以从虚拟机外部访问其它端口，比如HUE UI，所以我相信有一些防火墙的问题。 我没有定义iptables规则： [root@maprdemo elasticsearch]# iptables -L Chain INPUT […]
我在Ubuntu 16.10上有一个Hadoop版本 Hadoop 3.0.0-alpha1 Source code repository https://git-wip-us.apache.org/repos/asf/hadoop.git -r a990d2ebcd6de5d7dc2d3684930759b0f0ea4dc3 Compiled by andrew on 2016-08-30T07:02Z Compiled with protoc 2.5.0 From source with checksum f3a9644139eac17acbb91bfce7f68e2 This command was run using /home/hduser/hadoop/share/hadoop/common/hadoop-common-3.0.0-alpha1.jar 安装Hive 2.1.1后 #Hive environment export HIVE_HOME=/home/hduser/hive export PATH=$PATH:$HIVE_HOME/bin export CLASSPATH=$CLASSPATH:/home/hduser/Hadoop/lib/*:. export CLASSPATH=$CLASSPATH:/home/hduser/hive/lib/*:. hive-env.sh export HADOOP_HOME=/home/hduser/hadoop 和db-derby-10.13.1.1。 #Derby environment export DERBY_HOME=/home/hduser/derby export PATH=$PATH:$DERBY_HOME/bin export CLASSPATH=$CLASSPATH:$DERBY_HOME/lib/derby.jar:$DERBY_HOME/lib/derbytools.jar configurationMetastore […]