首页 > 其他 > 详细

Spark on yarn的两种模式 yarn-cluster 和 yarn-client

时间:2017-09-15 18:03:27      阅读:298      评论:0      收藏:0      [点我收藏+]

从深层次的含义讲,yarn-cluster和yarn-client模式的区别其实就是Application Master进程的区别,yarn-cluster模式下,driver运行在AM(Application Master)中,它负责向YARN申请资源,并监督作业的运行状况。当用户提交了作业之后,就可以关掉Client,作业会继续在YARN上运行。然而yarn-cluster模式不适合运行交互类型的作业。而yarn-client模式下,Application Master仅仅向YARN请求executor,client会和请求的container通信来调度他们工作,也就是说Client不能离开。看下下面的两幅图应该会明白(上图是yarn-cluster模式,下图是yarn-client模式):

技术分享                     

            技术分享

Spark on yarn的两种模式 yarn-cluster 和 yarn-client

原文:http://www.cnblogs.com/LazyJoJo/p/7527227.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!