首页 > 其他 > 详细

Hive使用SequenceFile存储数据

时间:2015-06-08 14:52:00      阅读:301      评论:0      收藏:0      [点我收藏+]
SequenceFile是使用二进制保存数据,是可以压缩的,并且压缩后的数据可被分割,可以供mapreduce处理。

下面的实例使用SequenceFile保存Hive表的数据,并且使用了压缩。

set hive.exec.compress.output=true; #压缩mapreduce输出数据
set mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.GzipCodec; #设置压缩算法
set mapreduce.output.fileoutputformat.compress.type=BLOCK; #块级压缩







Hive使用SequenceFile存储数据

原文:http://www.cnblogs.com/lishouguang/p/4560795.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!