实验五MapReduce 实验

发布时间 2023-12-06 01:51:34作者: 王庆园

今天完成了MapReduce实验,参照这篇博主的文章,实验5 MapReduce初级编程实践(1)——编程实现文件合并和去重操作_mapreduce z.q.feng csdn-CSDN博客

出现的错误是,jar包未打包成功,一定要去java代码目录下面看看有没有成工打包好jar包,不成功在目录下对执行几遍,还有就是文件的路径不一样,其实我现在发现,只要你自己在实验过程中

保持相同的目录不便,其实可以不用照着作者的目录来,一定记得目录不要找错了不然到时候很容易找不到你的jar包在哪里,也不知道运行的结果在哪里

最后就是博主的java代码里面的:"hdfs://localhost:9000");这个端口,如果你是黑马教程的hadoop的话改成"hdfs://node1:8020");这样就行了其余的不做修改。

进行排序的实验:实验5 MapReduce初级编程实践(2)——编写程序实现对输入文件的排序_编写程序实现对输入文件的排序** 现在有多个输入文件,每个文件中的每行内容均为一-CSDN博客

也是参照这位博主,我只想说泰裤辣嘻嘻。

第三个实验:实验5 MapReduce初级编程实践(3)——对给定的表格进行信息挖掘-CSDN博客

遇到的问题:首先这三个实验下来总结了一个步骤,

建立文件  -》  写java代码  -》给权限    -》 打包成jar包  -》  上传文件(前面上传过的话要删除input里面的文件)-》 删除output整个文件夹 -》运行

有两个住的注意的是,上传的文件要放在input文件夹里面,命令后面千万别忘记input 

 要删除整个output文件夹,具体大家可以在web界面看

 我就是没看清文件位置导致上传错了,每次返回的output都为空。

注意一定要把那个文件传到哪里弄清楚,不然就会像我一样,把删除上传文件执行n遍(删除input里面文件的命令),下次上传的时候还显示文件已存在(少加了input的上传),这两个命令都不在同一个维度里我还在疯狂疑问,型号有个web界面可以查看,更加直观一点,总结下来还是要理清思路不然就根本不知道错哪里。最后一个问题是:第一次执行的时候,我其实并没有犯上面的错,但是执行出来的结果只有

 

 

 

原因后来找到是因为,child-parent文件里面每一行只允许有一个空格,但是我的文件里面空格太多,后来修改了就成功了。

最后,在敲代码的时候一定边想边敲,不然就会像我一样,上传位置出错,还找半天,估计是前面两个实验无脑敲成功了太顺利了,不过虽然花费时间找错但是好在问题得到解决并且还更加理解了,希望大家不要犯这样粗心的错误ooo。