1.Spark SQL出现的 原因是什么?
原因是可以提升效率,sparksql是把sql语句转换成rdd然后提交集群执行,可以让执行效率大大提升
2.用spark.read 创建DataFrame

Spark SQL DataFrame的基本操作
创建:
spark.read.text()
spark.read.json()

打印数据
df.show()默认打印前20条数据,df.show(n)

打印概要
df.printSchema()

查询总行数
df.count()
df.head(3) #list类型,list中每个元素是Row类

输出全部行
df.collect() #list类型,list中每个元素是Row类

查询概况
df.describe().show()

取列
df[‘name’]
df.name

df.select()
df.filter()
df.groupBy()
df.sort()
