首页 > 大数据平台 > hadoop > hadoop 启动是DataNode 启动不了
2015
11-25

hadoop 启动是DataNode 启动不了

今天测试的hadoop 没空间了

给每台机器加了个硬盘,把硬盘挂载在/data 目录下,然后把hdfs的路径重新设置了呀

hdfs-site.xml
 
<name>dfs.namenode.name.dir</name>
<value>/data/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/data/hadoop/dfs/data</value>
 
core-site.xml
 
<name>hadoop.tmp.dir</name>
<value>file:/data/hadoop/tmp</value>
 
全部改到了/data/hadoop目录下,重新格式化
 
[15:35:47] PWD => /usr/local/hadoop
55>$ ./bin/hadoop namenode -format
 
执行完了后启动hadoop
 
$ ./sbin/start-all.sh
 
居然slave上面的DataNode 都没起来,NodeManager 倒都起来了
 
查看log里面报了
 
WARN org.apache.hadoop.hdfs.server.common.Storage: java.io.IOException: Incompatible clusterIDs in /data/hadoop/dfs/data: namenode clusterID = CID-51d9f0d7-73ee-4994-99c8-8e1d7cd65ce7; datanode clusterID = CID-fe67f135-2da1-4c5c-8007-750a2f7c8635
 
可能是我格式化了2次的原因,导致master和slave上的clusterid不对了
 
查看下master上面的clusterID号
 
$ cat /data/hadoop/dfs/name/current/VERSION
#Wed Nov 25 15:35:06 CST 2015
namespaceID=1131219890
clusterID=CID-20a1ba19-a7cd-4807-b2dd-583c244e8ebd
cTime=0
storageType=NAME_NODE
blockpoolID=BP-594331616-192.168.7.244-1448436906554
layoutVersion=-63
 
再到slave上面查看下
 
$ cat /data/hadoop/dfs/data/current/VERSION
#Wed Nov 25 15:35:26 CST 2015
storageID=DS-8513127c-2acd-4783-bbd9-4a537be2e89f
clusterID=CID-20a1ba19-a7cd-4807-b2dd-583c244e8ebd     (原来这里是不一样的,我把它改成和master上一样的了)
cTime=0
datanodeUuid=622ac044-b0f2-4139-988c-a5db46ff8fee
storageType=DATA_NODE
layoutVersion=-56

修改好了再启动hadoop,发现有3台起来了,其中另外一台没起来,日志也没报有用的东西,

把/data/hadoop/dfs/data/ 下的current目录删了后 在启动hadoop也不生成

折腾了很久都没起来,没办法 反正是测试机 索性把另外3台的current /data/hadoop/tmp/都清掉了

再重启的时候居然都起来了,应该是开始没起来的这台没有把/data/hadoop/tmp/ 清空的原因

最后编辑:
作者:saunix
大型互联网公司linux系统运维攻城狮,专门担当消防员

留下一个回复