词频 Word Count
1、在浏览器上访问 https://node01:9870
2、创建目录 /user 目录
bin/hdfs dfs -mkdir /user
如果未配置环境变量,需要到hadoop安装目录下执行
/opt/module/hadoop-2.5.2
(这个是我的安装目录)
3、将文件上传到HDFS上的 /user/input
下
bin/hdfs dfs -mkdir -p /user/input
bin/hdfs dfs -put etc/hadoop/*.xml /user/input
上传的文件所在位置:
/opt/module/hadoop-2.5.2/etc/hadoop/
4、运行提供的词频案例
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep /user/input output 'dfs[a-z.]+'
可以看到MapReduce过程
5、从HDFS把MR的输出文件get到本地查看 或者 直接在HDFS查看
# 将输出文件从HDFS文件系统 get到本地查看内容
bin/hdfs dfs -get /user/output output
cat output/*
# 直接执行hdfs客户端命令查看输出文件内容
bin/hdfs dfs -cat /user/output/*