首页 > 其他 > 详细

MapReduce解析之Map,Context,Reduce

时间:2018-06-03 20:42:39      阅读:212      评论:0      收藏:0      [点我收藏+]

要理解MapReduce,就必须理解其框架结构,把这三者放在一起讲是为了便于大家理解。

也就是两大组件Map与Reduce

首先看看Map

(声明:这里感谢Pig2的文章,对我启发很大,也顺便引用一下她的一些东西)

首先看看Map类中包含哪些方法:

技术分享图片

首先看看run方法,它就像是一个控制器

技术分享图片

很明显,Map中的run方法遵循setup--->map----->cleanup

setup源码:

技术分享图片

很明显,只传入了一个context对象

那么这个Context对象究竟为何物

Context,中文释义:环境,背景,上下文

很明显,开发过Android的人肯定知道,在Context就是一个保存所有信息的中介桥梁,与java中的session有着异曲同工之妙

Context包含了几乎关于这个任务的所有信息

技术分享图片

那么问题就over了,很明显传入这个context对象就像传入一个session来记录一些信息的,避免信息错乱

好的,再重新回过头看看run方法中的map方法,很显然,这就是我们通常普通用户需要进行更改的

它的最大用处就是对信息进行预处理,让最后得到的

 

MapReduce解析之Map,Context,Reduce

原文:https://www.cnblogs.com/gambler/p/9129929.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!