首页 > 数据库技术 > 详细

基于spark1.3.1的spark-sql实战-02

时间:2015-05-19 19:04:44      阅读:337      评论:0      收藏:0      [点我收藏+]

Hive Tables

将HIVE_HOME/conf/hive-site.xml 文件copy到SPARK_HOME/conf/下

 When not configured by the hive-site.xml, the context automatically creates metastore_db and warehouse in the current directory.

// sc is an existing SparkContext.
val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)

sqlContext.sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)")
sqlContext.sql("LOAD DATA LOCAL INPATH ‘examples/src/main/resources/kv1.txt‘ INTO TABLE src")

// Queries are expressed in HiveQL
sqlContext.sql("FROM src SELECT key, value").collect().foreach(println)

JDBC To Other Databases

技术分享
加载mysql数据库:test,表:t_user_new返回DataFrame
技术分享

查询数据:
技术分享

Performance Tuning

技术分享
spark 程序操作JDBC:
技术分享

技术分享

技术分享

未完待续~~~















基于spark1.3.1的spark-sql实战-02

原文:http://blog.csdn.net/stark_summer/article/details/45843803

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!