首页 > 其他 > 详细

hadoop又见hashcode

时间:2015-06-09 12:04:42      阅读:243      评论:0      收藏:0      [点我收藏+]

在读hadoop源码时候,发现Partitioner决定map输出将被分到哪个reduce节点。

而Patitioner(默认使用hashpartitioner)是根据每条记录的主键值 取hashcode,同一个主键的记录会被分区到统一reduce节点上, 

但是不同的主键也有可能被分到同一reduce节点(因为hashcode并不能保持唯一),eg:

有俩个map结果<a,3> ,<b,3> 假设a,b的hashcode一样,那reduce同时接收了a,b的map结果。

这个的实现方式在涉及海量数据的数据库的分区也被经常用到 


hadoop又见hashcode

原文:http://my.oschina.net/osenlin/blog/464508

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!