首页 > 数据库技术 > 详细

06 Spark SQL 及其DataFrame的基本操作

时间:2021-05-10 20:07:25      阅读:12      评论:0      收藏:0      [点我收藏+]

1.Spark SQL出现的 原因是什么?

原因是可以提升效率,sparksql是把sql语句转换成rdd然后提交集群执行,可以让执行效率大大提升

2.用spark.read 创建DataFrame

技术分享图片

 

 

 

Spark SQL DataFrame的基本操作

创建:

spark.read.text()

spark.read.json()

技术分享图片

 

 

打印数据

df.show()默认打印前20条数据,df.show(n)

技术分享图片

 

 

打印概要

df.printSchema()

技术分享图片

 

 

查询总行数

df.count()

df.head(3) #list类型,list中每个元素是Row类

技术分享图片

 

 

输出全部行

df.collect() #list类型,list中每个元素是Row类

技术分享图片

 

 

查询概况

df.describe().show()

技术分享图片

 

 

取列

df[‘name’]

df.name

技术分享图片

 

 

df.select()

df.filter()

df.groupBy()

df.sort()

 技术分享图片

 

06 Spark SQL 及其DataFrame的基本操作

原文:https://www.cnblogs.com/zhongzhian/p/14751351.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!