首页 > 其他 > 详细

spark总结5 RDD

时间:2017-09-16 18:19:34      阅读:221      评论:0      收藏:0      [点我收藏+]

创建RDD 有两种方式

 

1 通过hdfs支持的文件系统创建 RDD, RDD里面没有真正要计算的数据,只记录了一下元数据

2 从过scala集合或者数组以并行化的方式创建RDD

 

collect 把结果收集起来放到 scala数组里面

reduce 汇聚 方法传进去

 

count   rdd有多少元素

top(2) 取RDD 最大的前两个

take(2)取RDD前两个

first  想到与 take(1)

takeOrdered(2,(排序规则))  拍完序列 取前两个

 

spark总结5 RDD

原文:http://www.cnblogs.com/toov5/p/7531802.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!