首页 > 其他 > 详细

Scala当中什么是Transformation和 Action,以及它们俩的区别是什么?

时间:2019-07-21 15:51:48      阅读:86      评论:0      收藏:0      [点我收藏+]

[学习笔记]

一个完整的RDD任务由两部分组成:Transformation和 Action。Transformation用于对RDD的创建,还可以把老的RDD通过Transformation来生成新的RDD。例如,map就 是一种transformation操作,它用于将已有RDD的每个元素传入一个自定义的函数,并得到一个新的元素,然后将所有的新元素组成一个新的 RDD。但RDD一大特性是延迟(lazy)计算,即纵使你执行这些Transformation操作,这些操作也不会执行。换句话说, transformation操作不会触发spark程序执行的,它们只是先记录了对RDD所做的一系列操作,只有之后碰上一个action操作,那么前 面所有的transformation才会执行。collect和reduce就是action操作。

文章转载自原文:https://blog.csdn.net/qq_44596980/article/details/93308631

Scala当中什么是Transformation和 Action,以及它们俩的区别是什么?

原文:https://www.cnblogs.com/haima1949/p/11221321.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!