首页 > 其他 > 详细

Hive Serde - CSV、TSV

时间:2015-06-08 14:57:00      阅读:1111      评论:0      收藏:0      [点我收藏+]
CSV

hive-0.14.0内置支持CSV Serde,以前的版本需要引入第三方库的jar包(http://https://github.com/ogrodnek/csv-serde

现在有个文本文件a.csv(从数据库中导出的数据通常都是这种格式),里面的内容如下:
  1. [hive@vm1 ~]$ more a.csv 
  2. ‘1‘,‘zhangsan‘,‘20‘,‘beijing,shanghai,shandong‘,1
  3. ‘2‘,‘lisi‘,‘22‘,‘guangdong,hainan‘,1
  4. ‘3‘,‘wangwu‘,‘23‘,‘shandong,jiangsu,xizang‘,0
现在需要将它加载到hive中进行处理,步骤如下:

1)引入第三方jar包(0.14之前的版本)
  1. add jar /xx/yy/zz.jar;
2)创建表
  1. create table t_csv(id int, name string, address string, sex tinyint) row format serde ‘org.apache.hadoop.hive.serde2.OpenCSVSerde‘ with serdeproperties("separatorChar"=",","quoteChar"="‘","escapeChar"= "\\") stored as textfile;
separatorChar是字段之间的分隔符
quoteChar是包括字段的符号,比如单引号、双引号
escapeChar是不处理的字符
3)加载数据
  1. load data local inpath ‘${env:HOME}/a.csv‘ into table t_csv;
4)查询
  1. select name, address from t_csv;

TSV
    目前没有专门Tsv Serde的jar包,不过可以使用CSV Serde,设置它的separatorChar=‘\t‘





Hive Serde - CSV、TSV

原文:http://www.cnblogs.com/lishouguang/p/4560815.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!