这个很简单，就是取rdd中的唯一值
val data1 = sc.parallelize(List(1,2,3,2,3,2,2)) data1.distinct().collect
输出123
注意，可以调整执行并行度
即
data1.distinct().collect
这样就会按三个partition进行并行执行，理论上会比默认的两个partition会快一些
sc.distinct
原文：http://www.cnblogs.com/hark0623/p/4494888.html
