今天在执行wordcount词频统计时报错
执行语句为
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput
报错如下
这表示指定的输入路径 hdfs://hadoop102:8020/user/atguigu/wcinput 不存在
然后我打开hadoop可视化网页一看确实不存在(下图是修改过后正确的情况)
也可以在linux终端中执行如下命令查看
hdfs dfs -ls /user/atguigu 这将列出/user/atguigu目录下的文件和子目录。
然后将wcinput文件传到hdfs的/user/atguigu的目录下,命令如下
hdfs dfs -copyFromLocal /opt/module/hadoop-3.1.3/wcinput /user/atguigu/
随后再执行hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput
稍作等待,显示如下,成功!
再次查看hadoop网页
发现多了一个wcoutput,点进去
里面有一个part-r-00000,点进去
再点击Download,查看下载的内容
成功
也可以使用命令的方法,首先查看wcoutput下有哪些文件
然后运行命令查看具体内容
结果如下
成功