【hive】order by、sort by、distribute by、cluster by的区别
创始人
2025-05-31 12:38:46
0次

Order By（全局排序）

Order By 用于结果集的排序。也可以称之为全局排序。对于 MR 任务来说，如果我们使用了 Order By 排序，意味着MR 任务只会有一个 Reducer 参与排序。，

在 Hive 中执行脚本时，我们可以通过set mapreduce.job.reduces = 10 来设置 reduce 的个数为 10。但只要使用了 Order By 排序，即使设置了 10 个reduce ，也是不会生效的。Order By 就是一个全局排序，只能用一个 Reduce 进行全局排序。
在这里插入图片描述

Sort By（每个reduce内部排序）

Sort By：对于大规模的数据集 order by 的效率非常低。在很多情况下，并不需要全局排序，此时可以使用 sort by。Sort by 在每个 Reducer 内部进行排序，即使每个 reduce 内部是有序的，但是对于全局结果集 来说也还是乱序的。

Distribute By（指定分区规则）

Distribute by 是用来指定Distribute By 是用来指定分区规则的，它结合 Sort By 一起使用。上文介绍的单独使用 Sort By 对部门编号排序，因为没有指定分区规则，Sort By 则随机分区排序。Distribute By 类似 MR 中 partition（自定义分区），进行分区，结合 sort by 使用。通常是先用 Distribute By 指定分区规则，然后再使用 Sort By 对分区内数据排序。

Cluster By（分区字段和排序字段相同时使用）

当 distribute by 和 sorts by 字段相同时，可以使用 cluster by 方式。

cluster by 除了具有 distribute by 的功能外还兼具 sort by 的功能。但是排序只能是升序排序，不能指定排序规则为 ASC 或者 DESC。Cluster by 不常用的。

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：端午假期首日 八达岭再现烟雨长城“水墨丹青”

下一篇：创意粽子缤纷上新 端午粽生活添彩时尚感

相关内容

热门资讯

ChIP-seq 分析：Dif... 动动发财的小手，点个赞吧！ 1. 寻找差异区域 然而，识别...
四川九寨沟乐山大佛旅游攻略跟团... 标题：四川九寨沟乐山大佛5天4晚跟团游，驴友亲测只需千元预算！跟着导游乐乐畅享川蜀风情 四川旅游推荐...
全国最具人气三条路 内蒙古有一... 5月30日，交通运输部公布2024年“我家门口那条路——最具人气的路”名单，全国仅3条路入选——内蒙...
基于TDesign风格的Bla... 作为一名Web开发人员，开发前端少不了使用JavaScript，而Bla...
千年蜀道新体验：非遗鱼灯首次亮... 封面新闻记者 刘彦谷端午期间，四川广元剑门关以“‘粽’情端午 剑门有‘鱼’”为主题，融合非遗、诗词、...
pip的使用 目录 ❤  配置pip环境变量 ❤  Cmd终端使用pip ❤  Pycharm使用pip ❤  J...
原创 端... 导语：《端午回村吃酒席：农村酒席的“变味”之惑》 端午佳节，本是回乡团聚、共享欢乐的时刻。我怀着满心...
原创 中... 在中国这片美食沃土上，厨师们以巧夺天工的烹饪技艺，让一只普通的鸡焕发出万千风味。从北方的酥香烤鸡到南...
原创 做... 做韭菜盒子，最忌讳的就是图省事，要么全用滚烫的开水烫面，要么全用冷水和面。烫面做出来确实软，但凉了以...
3 ROS1通讯编程提高(1) 3 ROS1通讯编程提高3.1 使用VS Code编译ROS13.1.1 VS Code的安装和配置...
7个最受瞩目的 Python ... [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-t8PL9DLr-16...
连续两年增长！2024年省外客... 5月30日，记者从省政府新闻办召开的“2025‘避暑度假到贵州’新闻发布会”上获悉，作为全国知名的避...
git 相关操作-提交代码步骤 https://blog.csdn.net/matrix_google/article/detail...
计算机网络(第十三弹) ---... ARP 协议及子网掩码1 ARP 协议2 子网掩码 1 ARP 协议   ARP 协议就是介于数据链...
四川旅游攻略报团五天四晚预算多... 标题：【亲测】四川五天四晚团游预算大揭秘，跟着本地导游乐乐玩转蜀地！ 四川旅游推荐！当地导游-乐乐：...
新疆七天六晚行程及旅游攻略？带... 新疆七天六晚行程及旅游攻略？带娃去新疆旅游七天要多少钱 新疆，这片位于中国西北边陲的广袤土地，以其壮...
四川九寨沟乐山大佛旅游攻略报团... 标题：【亲测四川九寨沟乐山大佛5天4晚报团游】跟着本地导游乐乐玩转天府之国！ 四川旅游推荐！当地导游...
四川旅游小包团5日游行程及报价... 标题：【四川旅游小包团5日游行程及报价，驴友亲测！】——跟着乐乐玩转四川 四川旅游推荐！当地导游-乐...
四川旅游攻略自由行攻略游玩5日... 四川：一片自然与文化的瑰宝 四川旅游推荐！当地导游-乐乐：185 8335 5758（加他微信-立减...
四川九寨沟乐山大佛旅游攻略参团... 四川九寨沟乐山大佛旅游攻略参团五天四晚预算多少，驴友亲测！ 四川旅游推荐！当地导游-乐乐：185 8...