首页 > 其他 > 详细

SPARK执行流程

时间:2018-08-02 15:28:22      阅读:175      评论:0      收藏:0      [点我收藏+]

RDD运行原理

1.创建 RDD 对象
2.DAGScheduler模块介入运算,计算RDD之间的依赖关系。RDD之间的依赖关系就形成了DAG
3.每一个JOB被分为多个Stage,划分Stage的一个主要依据是当前计算因子的输入是否是确定的,如果是则将其分在同一个Stage,避免多个Stage之间的消息传递开销。

技术分享图片

https://www.cnblogs.com/tgzhu/p/5818374.html

SPARK执行流程

原文:https://www.cnblogs.com/playforever/p/9407335.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!