【hive】order by、sort by、distribute by、cluster by的区别
创始人
2025-05-31 12:38:46

Order By(全局排序)

Order By 用于结果集的排序。也可以称之为全局排序。对于 MR 任务来说,如果我们使用了 Order By 排序,意味着MR 任务只会有一个 Reducer 参与排序。

在 Hive 中执行脚本时,我们可以通过set mapreduce.job.reduces = 10 来设置 reduce 的个数为 10。但只要使用了 Order By 排序,即使设置了 10 个reduce ,也是不会生效的。Order By 就是一个全局排序,只能用一个 Reduce 进行全局排序。
在这里插入图片描述

Sort By(每个reduce内部排序)

Sort By:对于大规模的数据集 order by 的效率非常低。在很多情况下,并不需要全局排序,此时可以使用 sort by。Sort by 在每个 Reducer 内部进行排序,即使每个 reduce 内部是有序的,但是对于全局结果集 来说也还是乱序的。

Distribute By(指定分区规则)

Distribute by 是用来指定Distribute By 是用来指定分区规则的,它结合 Sort By 一起使用。上文介绍的单独使用 Sort By 对部门编号排序,因为没有指定分区规则,Sort By 则随机分区排序。Distribute By 类似 MR 中 partition(自定义分区),进行分区,结合 sort by 使用。通常是先用 Distribute By 指定分区规则,然后再使用 Sort By 对分区内数据排序。

Cluster By(分区字段和排序字段相同时使用)

当 distribute by 和 sorts by 字段相同时,可以使用 cluster by 方式。

cluster by 除了具有 distribute by 的功能外还兼具 sort by 的功能。但是排序只能是升序排序,不能指定排序规则为 ASC 或者 DESC。Cluster by 不常用的。

相关内容

热门资讯

观鸥、赏艺、逛市集!西山区20... 昆明信息港讯 记者卢芝珍12月20日,西山区2025大观河畔“哇鸥”文化艺术季正式拉开帷幕。本次艺术...
知名奶茶紧急致歉:下架,整改! 近日,有网友发帖反映 知名奶茶品牌乐乐茶的 新品“苹果糖” 问题多多 “苹果的糖是软的, 一点都不脆...
“鲜东东”来了!2025成都东... 12月20日,“鲜东东”2025成都东部新区鱼羊鲜美食节在绛溪里·湖滨天地盛大启幕。活动以“食在蓉城...
美食故事:家常菜的温情密码与代... 与人的记忆紧密相连的总是好的食物,在我的认知之中,美食故事的核心要点,并非在于着力去描绘菜肴是多么精...
外婆的萝卜丝饼,为何藏着我们的... 一款美食,并非单单只涉及味道,更重要的是它承载着人的记忆以及情感。我们去享用美食的时候,通常也是在回...