1 背景
MapReduce可以简单理解为一个函数式编程框架,因为对于大量数据处理在分布式场景下会有各种各样的麻烦,比如错误处理,数据集划分,分布式调度等问题。Google的两位工程师提出了这一个框架,就可以让一个没有分布式经验的普通用户(比如我),只通过实现map
和reduce
函数,就能轻松完成分布式任务,而把具体的细节隐藏起来了。
MapReduce可以简单理解为一个函数式编程框架,因为对于大量数据处理在分布式场景下会有各种各样的麻烦,比如错误处理,数据集划分,分布式调度等问题。Google的两位工程师提出了这一个框架,就可以让一个没有分布式经验的普通用户(比如我),只通过实现map
和reduce
函数,就能轻松完成分布式任务,而把具体的细节隐藏起来了。