大数据之MapReduce

发布时间 2023-08-20 21:54:06作者: 哈哈哈老先生

今天又复习了关于MapReduce的知识

先看一下什么是MapReduce

MapReduce是“分散->汇总”模式的分布式计算框架,可供开发人员开发相关程序进行分布式数据计算。 MapReduce提供了2个编程接口: Map Reduce 其中 Map功能接口提供了“分散”的功能, 由服务器分布式对数据进行处理 Reduce功能接口提供了“汇总(聚合)”的功能,将分布式的处理结果汇总统计 用户如需使用MapReduce框架完成自定义需求的程序开发 只需要使用Java、Python等编程语言,实现Map Reduce功能接口即可。

MapReduce的原理