首页 > 其他 > 详细

hive 分区时 分别使用 年,月,日 来进行分区

时间:2016-04-28 12:28:22      阅读:858      评论:0      收藏:0      [点我收藏+]

创建表

create [external<外联>] table log_app_web (log map<string,string>) partitioned by (year int,month int,day int) 

ROW FORMAT DELIMITED COLLECTION ITEMS TERMINATED BY ‘\t‘ 

MAP KEYS TERMINATED BY ‘=‘ STORED AS ORC;


表名:log_app_web

字段:Map类型字段 log

分区:根据年,月,日 进行分区 year ,month ,day

分割使用 ‘\t‘

MAP中的KV使用 ‘=’

数据文件存储为ORCFILE格式


根据日期范围查询时使用将分期时间转换成日期的string进行范围查询

 concat_ws(‘-‘,cast(year as string),lpad(cast(month as string),2,‘0‘), lpad(cast(day as string),2,‘0‘)) >= ‘"+format.format(StartDay)+"‘ 

类似于 yyyy-MM-dd >= ‘2016-04-28‘


本文出自 “记下就对了” 博客,请务必保留此出处http://jueshizhanhun.blog.51cto.com/4372226/1768500

hive 分区时 分别使用 年,月,日 来进行分区

原文:http://jueshizhanhun.blog.51cto.com/4372226/1768500

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!