首页 > 其他 > 详细

MapReduce Job Run

时间:2016-04-08 10:10:23      阅读:225      评论:0      收藏:0      [点我收藏+]

技术分享

技术分享

 

  • 客户端:提交MapReduce  job
  • YARN resouce manager,协调集群计算资源分配
  • YARN node manager,产生并且监控在集群中的机器上的containers
  • MapReduce application master,协调MapReduce job中运行的task
  • HDFS,用来共享job文件和其他实例

Job Submission

  • 询问resource manager来获取一个新的应用id,用来作为MapReduce job ID
  • 检查job的输出指定,如果文件已经存在或者未指定输出抛出一个错误
  • 计算输入分割,如果分割无法被计算降抛出一个错误
  • 复制资源来运行job,包括job的JAR file,配置文件,计算输入分割到共享的文件系统中,以job ID命名。job JAR会被复制高的备份,以便运行时有多个nodemanager可以运行
  • 调用submitApplication()在resource manager来提交任务

Job Initialization

  • 当resource manager收到调用它的submitApplication()方法,它将其交给YARN scheduler,scheduler分配一个容器,并且resource manager 生成一个application master进程在哪里,在node manager的管理下。
  • 对于MapReduce jobs,application master就是一个Java应用主类是MRAppMaster.

  

 

MapReduce Job Run

原文:http://www.cnblogs.com/dalu610/p/5366794.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!