首页 > 其他 > 详细

SparkLauncher流程记录(spark-2.2.0)

时间:2018-01-31 12:55:31      阅读:480      评论:0      收藏:0      [点我收藏+]

这里记录一下LauncherBackend和LauncherServer的通信流程

流程图

技术分享图片

流程说明


    SparkLauncher 在startApplication方法里通过createBuilder方法调用spark-submit脚本,同时启动LauncherServer服务,用于接收LauncherBackend的消息
    通过把固定的环境变量通告出去,通知LauncherBackend启动连接LauncherServer。

    spark-submit 脚本调用SparkSubmit,SparkSubmit调用org.apache.spark.deploy.yarn.Client 来提交任务到yarn上。

    yarn.Client 在 submitApplication中启动LauncherBackend 来连接LauncherServer。
    并且在run方法中通过monitorApplication 中来检查app的状态变化,然后通过launcherBackend 把状态变化通知到 launcherServer上

    LauncherServer收到通知后会调用用户提供的listener

    更多细节参考Launcher其他记录

SparkLauncher流程记录(spark-2.2.0)

原文:https://www.cnblogs.com/cloud-zhao/p/8391376.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!