首页 > 其他 > 详细

pairRDD中算子reduceByKeyLocally

时间:2016-07-31 00:01:35      阅读:328      评论:0      收藏:0      [点我收藏+]

 

原型:

def reduceByKeyLocally(func: (V, V) => V): Map[K, V]

 

该函数将RDD[K,V]中每个K对应的V值根据映射函数来运算,运算结果映射到一个Map[K,V]中,而不是RDD[K,V]

scala> var rdd1 = sc.makeRDD(Array(("A",0),("A",2),("B",1),("B",2),("C",1)))

rdd1: org.apache.spark.rdd.RDD[(String, Int)] = ParallelCollectionRDD[91] at makeRDD at :21 

scala> rdd1.reduceByKeyLocally((x,y) => x + y)

res90: scala.collection.Map[String,Int] = Map(B -> 3, A -> 2, C -> 1)

 

pairRDD中算子reduceByKeyLocally

原文:http://www.cnblogs.com/seaspring/p/5722051.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!