首页 > 其他 > 详细

Union

时间:2021-07-21 22:56:15      阅读:43      评论:0      收藏:0      [点我收藏+]
package sparkcore

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object Demo09Union {
def main(args: Array[String]): Unit = {

val conf: SparkConf = new SparkConf().setAppName("Union").setMaster("local")

val sc = new SparkContext(conf)

val rdd1: RDD[Int] = sc.parallelize(List(1,2,3,4,5,6))
val rdd2: RDD[Int] = sc.parallelize(List(4,5,6,7,8,9))

/**
* union:合并两个RDD,rdd的类型必须一致。不会去重
*/
val unionRDD: RDD[Int] = rdd1.union(rdd2)

/**
* 去重
*/
val distinctRDD: RDD[Int] = unionRDD.distinct()

distinctRDD.foreach(println)
}
}

Union

原文:https://www.cnblogs.com/xiguabigdata/p/15022274.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!