526互联

12.24每日总结3

发布时间 2023-12-24 23:04:35作者: 漏网鲨鱼

晚上做了大数据实验五

（一）编程实现文件合并和去重操作

对于两个输入文件，即文件A和文件B，请编写MapReduce程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新的输出文件C。下面是输入文件和输出文件的一个样例供参考。

先打开hadoop

 

 

建文件A、B

 

 

输入文件A的样例如下：

 

 

输入文件B的样例如下：

 

 

 

根据输入文件A和B合并得到的输出文件C的样例如下：