首页 > 大数据平台 > hadoop > Hadoop 安装启动后做简单测试
2015
07-31

Hadoop 安装启动后做简单测试

执行WordCount实例

执行WordCount实例过程与伪分布式模式一样。首先创建所需的几个目录

bin/hdfs dfs -mkdir -p /user/hadoop
将etc/hadoop中的文件作为输入文件复制到分布式文件系统中。

bin/hdfs dfs -put etc/hadoop input
通过查看DataNode的状态(占用大小有改变),输入文件确实复制到了DataNode中。

接着就可以运行MapReduce作业了。

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar grep input output ‘dfs[a-z.]+’
运行时的信息如下所示,显示Job的进度。可能会比较慢,但如果迟迟没有进度,比如10分钟都没看到进度,那不妨重启Hadoop再试试。


Hadoop 安装启动后做简单测试 - 第1张  | 大话运维

同样可以通过Web界面查看任务进度 http://master:8088/cluster

Hadoop 安装启动后做简单测试 - 第2张  | 大话运维通过Web页面集群状态和MapReduce作业的信息

在 Web 界面点击 “Tracking UI” 这一列的 History,可能会提示网页无法打开,遇到这种情况需要手动开启 jobhistory server,开启之后刷新页面再点击就可以打开了。

  1. /usr/local/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver

执行完毕后的输出结果:

Hadoop 安装启动后做简单测试 - 第3张  | 大话运维MapReduce作业的输出结果

最后编辑:
作者:saunix
大型互联网公司linux系统运维攻城狮,专门担当消防员

留下一个回复