首页 > 编程语言 > 详细

Hive_分区排序(Distribute By)

时间:2021-09-01 18:52:04      阅读:19      评论:0      收藏:0      [点我收藏+]

hive的分区排序

需求:对插入的数据分组,并且排序

案例实操:

(1)先按照部门编号分区,再按照员工编号降序排序。

hive (default)> set mapreduce.job.reduces=3;
hive (default)> insert overwrite local directory /opt/module/datas/distribute-result select * from emp distribute by deptno sort by empno desc;

注意:

1.distribute by的分区规则是根据分区字段的hash码与reduce的个数进行模除后,余数相同的分到一个区。

2.Hive要求DISTRIBUTE BY语句要写在SORT BY语句之前。

Hive_分区排序(Distribute By)

原文:https://www.cnblogs.com/ttyypjt/p/15211813.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!