首页 > 其他 > 详细

MapReduce简单搭建

时间:2020-04-17 23:13:05      阅读:72      评论:0      收藏:0      [点我收藏+]

Yarn(统一资源调度器,任务监控管理器)

  • 整合hadoop集群中资源(cpu,内存等)进行统一调度
  • 监控map和reduce的执行状况

技术分享图片

 

 

ResourceManager(master,负责整合资源调度)

NodeManager(slave,负责计算)

 

关键配置

yarn-site.xml

技术分享图片
1 <property>
2     <name>yarn.nodemanager.aux-services</name>
3     <value>mapreduce_shuffle</value>
4 </property>
5 <property>
6     <name>yarn.resourcemanager.hostname</name>
7     <value>hadoop</value>
8 </property>
View Code

mapred-site.xml(默认只有mapred-site.xml.template,将其复制一份为xml即可)

技术分享图片
1 <property>
2     <name>mapreduce.framework.name</name>
3     <value>yarn</value>
4 </property>
View Code

 

注:start-yarn.sh 只能在resourcemanager节点上执行

MapReduce简单搭建

原文:https://www.cnblogs.com/zqzhen/p/12722530.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!