526互联

MapReduce学习一

发布时间 2023-10-03 21:48:35作者: yesyes1

1、相关介绍--分而治之

MapReduce分布在Yarn集群

2、设计构思（以wordcount为例）

第一步-->读取文件，读取为键值对类型，偏移量,该行的内容；

第二步（Map阶段）-->转换成为另一种键值对模式，单词,1；

第三步（Suffle阶段）-->转换成另一种键值对模式，单词,<有几个这个单词，便有几个1用逗号隔开>；

第四步（Reduce阶段）-->转换成单词,单词数量的键值对模式；

第五步-->保存结果；

3、编程流程