Hive分区技术

栏目: 服务器 · 发布时间: 7年前

内容简介：本周已经更新完成Hive分区的三个章节：技术详解，多重分区，动态分区在Hive Select查询中一般会扫描整个表的内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中我们关心的一部分数据，因此建表时引入了partition概念。分区是一种根据“分区列”(partition column)的值对表进行粗略划分的机制。Hive中的每个分区对应数据库中相应分区列的一个索引，每个分区对应着表下的一个目录，在HDFS上的表现形式与表在HDFS上的表现形式相同，都是以子目录的形式存在。1. 什么是分区

本周已经更新完成Hive分区的三个章节：技术详解，多重分区，动态分区

在Hive Select查询中一般会扫描整个表的内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中我们关心的一部分数据，因此建表时引入了partition概念。分区是一种根据“分区列”(partition column)的值对表进行粗略划分的机制。Hive中的每个分区对应数据库中相应分区列的一个索引，每个分区对应着表下的一个目录，在HDFS上的表现形式与表在HDFS上的表现形式相同，都是以子目录的形式存在。

1. 什么是分区

分区是表的部分列的集合，可以为频繁使用的数据建立分区，这样查找分区中的数据时就不需要扫描全表，这对于提高查找效率很有帮助。创建分区本质上是在表的目录下创建目录，是对数据的细粒度的管理。

2. 为什么分区

数据量越来越大，hive查询会全表扫描，浪费时间。创建分区，只查询我们关心的那部分数据，提高查询效率。

3. 怎么分区

主要根据具体业务进行分区，数据会依照单个或多个列进行分区，通常按照时间、地域或者是商业维度进行分区。创建表的时候使用partitioned by (字段名字段类型)进行分区，可以创建多级分区。

4.分区的细节

分区名不区分大小写，不建议使用中文

分区使用的字段是表外字段，只存在于元数据中，数据中不存在

可以创建多级分区

具体如何创建分区，如何操作分区，请收看我的课程第三章的内容

本文由马修创作，采用知识共享署名-相同方式共享 3.0 中国大陆许可协议进行许可。

转载、引用前需联系作者，并署名作者且注明文章出处。

本站文章版权归原作者及原出处所有。内容为作者个人观点，并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台，并不用于任何商业目的，如果有任何问题，请及时联系我们，我们将根据著作权人的要求，立即更正或者删除有关内容。本站拥有对此声明的最终解释权。

以上所述就是小编给大家介绍的《Hive分区技术》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对码农网的支持！

查看所有标签

猜你喜欢:

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。

码农书籍

Head First Rails

David Griffiths / O'Reilly Media / 2008-12-30 / USD 49.99

Figure its about time that you hop on the Ruby on Rails bandwagon? You've heard that it'll increase your productivity exponentially, and allow you to created full fledged web applications with minimal......一起来看看《Head First Rails》这本书的介绍吧!

码农工具

HTML 编码/解码

RGB HSV 转换

RGB HSV 互转工具