MapReduce 人个理解

1.MapReduce 理解

•    拆分成 map 过程与 reduce 过程；
•    map 可以理解为sql 中的 group by 操作， reduce相当于group by 后的聚合计算 ；
•    一个map 必须对应一个 reduce 
•    map后会存在 hdfs 中，然后再进行 reduce

   

2.MapReduce 与 spark 对比 

•    用hdfs来作为中间介质(map后的结果存储)，spark是用内存来作为中间介质
•    MapReduce不的支持流水线作业（就是reduce 必须等待map完后才能工作，不能像流水线一样，一边map,一边reduce）
•    不支持DAG计算 (MapReduce 一个Map对应一个Reduce,  spark中 可以一次map多次 reduce)

MapReduce 人个理解

原文：https://www.cnblogs.com/yjhkhnuje/p/10819358.html