首页 > 其他 > 详细

MapReduce介绍

时间:2021-01-31 14:21:43      阅读:29      评论:0      收藏:0      [点我收藏+]

这里简单介绍下MapReduce

1、什么是MapReduce

1、源自Google的MapReduce论文

2、发表于2004年12月,Hadoop MapReduce是Google MapReduce的克隆版

 

2、MapReduce特点

易于编程

良好的扩展性

高容错性

海量数据的离线处理

 

3、MapReduce不擅长的场景

实时计算

流式计算

DAG计算(多个应用程序存在依赖关系,A作业执行完后执行B作业,B作业执行完后执行C作业)

 

4、MapReduce编程模型

intput: 输入源

map&reduce: 实现map和reduce方法

output:输出

详细可参考: https://hadoop.apache.org/docs/r3.2.2/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html

 

备注: MapReduce在工作中有使用,但是使用的并不多了。现在Spark特别火,并且性能比MapReduce强很多。

 

MapReduce介绍

原文:https://www.cnblogs.com/linlf03/p/14351023.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!