Hive中order by,sort by, distribute by, cluster by

栏目: 服务器 · 发布时间: 6年前

面试中问到了这些问题,今天特意全方位的总结一下。另外,数据思维比技术更重要。

1.Order by

Hive中的order by跟传统的 sql 语言中的order by作用一样,会对查询的结果做一次全局排序。所以只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理(不管有多少map,也不管文件有多少的block只会启动一个reducer)。但是对于大量数据这将会消耗很长的时间去执行。

如果指定了hive.mapred.mode=strict(默认值是nonstrict),就必须指定limit来限制输出条数,因为所有的数据都会在同一个reducer端进行,数据量大的情况下可能不能出结果。

    select product,quantity from sales_product limit 2000 order by product 

2.Sort by

Hive中指定了sort by,那么在每个reducer端都会做排序,也就是说保证了局部有序(每个reducer出来的数据是有序的,但是不能保证所有的数据是有序的,除非只有一个reducer)。

优点:执行了局部排序之后可以为接下去的全局 排序 提高不少的效率。

3.distribute by

ditribute by是控制map的输出在reducer是如何划分的,举个栗子,一张表,product是指这个sales_table产品,quantity是这个销量。

    select product,quantity from sales_table distribute by product

那么同一类product将会发送到一个reducer处理,如果product之间的销量差距很大,这样会造成数据倾斜。

4.cluster by

cluster by的功能就是distribute by和sort by相结合,如

  select product, district,quantity from sales_table cluster by product  

等同于

  select product, district,quantity from sales_table distribute by product sort by product 
Hive中order by,sort by, distribute by, cluster by

本文由贝克汉姆 创作,采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。

转载、引用前需联系作者,并署名作者且注明文章出处。

本站文章版权归原作者及原出处所有 。内容为作者个人观点, 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台,并不用于任何商业目的,如果有任何问题,请及时联系我们,我们将根据著作权人的要求,立即更正或者删除有关内容。本站拥有对此声明的最终解释权。


以上所述就是小编给大家介绍的《Hive中order by,sort by, distribute by, cluster by》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

谁说菜鸟不会数据分析

谁说菜鸟不会数据分析

张文霖、刘夏璐、狄松 编著 / 电子工业出版社 / 2011-7 / 59.00元

《谁说菜鸟不会数据分析(全彩)》内容简介:很多人看到数据分析就望而却步,担心门槛高,无法迈入数据分析的门槛。《谁说菜鸟不会数据分析(全彩)》在降低学习难度方面做了大量的尝试:基于通用的Excel工具,加上必知必会的数据分析概念,并且采用通俗易懂的讲解方式。《谁说菜鸟不会数据分析(全彩)》努力将数据分析写成像小说一样通俗易懂,使读者可以在无形之中学会数据分析。《谁说菜鸟不会数据分析(全彩)》按照数据......一起来看看 《谁说菜鸟不会数据分析》 这本书的介绍吧!

在线进制转换器
在线进制转换器

各进制数互转换器

XML、JSON 在线转换
XML、JSON 在线转换

在线XML、JSON转换工具

UNIX 时间戳转换
UNIX 时间戳转换

UNIX 时间戳转换