首页 > 其他 > 详细

Spark运行模式_基于YARN的Resource Manager的Custer模式(集群)

时间:2018-07-16 13:31:43      阅读:181      评论:0      收藏:0      [点我收藏+]

使用如下命令执行应用程序:

        技术分享图片

和"基于YARN的Resource Manager的Client模式(集群)"运行模式,区别如下:

在Resource Manager端提交应用程序,会生成SparkSubmit进程,该进程只用来做Client端,应用程序提交给集群后,就会删除该进程。

        技术分享图片

Resource Manager在集群中的某个NodeManager上运行ApplicationMaster,该AM同时会执行driver程序。紧接着,会在各NodeManager上运行CoarseGrainedExecutorBackend来并发执行应用程序。

        技术分享图片

应用程序的结果,会在执行driver程序的节点的stdout中输出,而不是打印在屏幕上。

对应的YARN资源管理的单元Container,关系如下:

        技术分享图片

为ApplicationMaster生成了容器 000001

为CoarseGrainedExecutorBackend生成了容器 000002-000003

 

 

转载自:
作者:俺是亮
链接:https://www.jianshu.com/p/65a3476757a5
來源:简书

 

Spark运行模式_基于YARN的Resource Manager的Custer模式(集群)

原文:https://www.cnblogs.com/chengzipg/p/9317019.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!