首页 > 其他 > 详细

选择 reducer 的个数

时间:2015-02-01 19:13:30      阅读:237      评论:0      收藏:0      [点我收藏+]
默认情况下,一个 mapreduce job 只有一个 reducer ,真实应用中,作业都把它设置成一个较大的数字,否则由于所有的中间数据都会放到一个 reducer 任务中,造成性能瓶颈。

reducer 最优个数与集群中可用的 reducer 任务槽数相关。总槽数由集群中节点数与每个节点的任务数相乘得到。每个节点的任务槽数由 mapred.tasktracker.reduce.tasks.maximum 属性的值决定,默认为 2 。

常用的方法是设置的 reducer 数比总槽数稍微少一些,给 reducer 任务留点余地,容忍一些错误发生而不需要延长作业运行时间。

hadoop 文档中推荐的两个公式计算 reducer 任务数的公式:
0.95 * NUMBER_OF_NODES * mapred.tasktracker.reduce.tasks.maximum
1.75 * NUMBER_OF_NODES * mapred.tasktracker.reduce.tasks.maximum
备注:NUMBER_OF_NODES 是集群中的计算节点个数

在代码中通过 JobConf. setNumReduceTasks(int numOfReduceTasks) 函数设置 reducer 的个数

选择 reducer 的个数

原文:http://my.oschina.net/zc741520/blog/374182

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!