内容简介:默认情况下,Hive会使用Derby来存储元数据(主要是表、列、分区Partition的信息)。Derby是一个嵌入式的本地数据库,只能单进程进行访问,不允许多个连接。因此,Derby只适合本地测试,不适合用在生产环境。Hive支持使用单独的数据库来存储元数据,比如MySql、PostgreSql等,本文将介绍如何配置Hive使用MySql存储元数据。本文假设你已经单机安装、配置好了MySql和Hive。如果没有,可以参考下面两篇文章:前往:
默认情况下,Hive会使用Derby来存储元数据(主要是表、列、分区Partition的信息)。Derby是一个嵌入式的本地数据库,只能单进程进行访问,不允许多个连接。因此,Derby只适合本地测试,不适合用在生产环境。Hive支持使用单独的数据库来存储元数据,比如 MySql 、PostgreSql等,本文将介绍如何配置Hive使用MySql存储元数据。
本文假设你已经单机安装、配置好了MySql和Hive。如果没有,可以参考下面两篇文章:
- 使用 Docker 安装和配置MySql
- Linux上安装和配置Hive
安装MySql连接器
前往: https://dev.mysql.com/downloads/connector/j/5.1.html ,下载MySql连接器(connector)。
解压后,将mysql-connector-java-5.1.xx.jar,上传到 Linux 的 $HIVE_HOME/lib 文件夹下。
配置hive-site.xml
hive-site.xml用于配置Hive的各个参数,位于$HIVE_HOME/conf文件夹下。默认情况下,并没有这个文件,所有的参数配置在hive-default.xml.template中。因此,第一次使用时,需要手动创建这个文件。假设你的mysql位于192.168.1.56:3306,则像下面这样配置:
<configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://192.168.1.56:3306/hive_metastore?createDatabaseIfNotExist=true&useSSL=false</value> <description>metadata is stored in a MySQL server</description> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>MySQL JDBC driver class</description> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>username</value> <description>mysql server connection username</description> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>password</value> <description>mysql server connection user password</description> </property> </configuration>
根据上面的配置,会创建一个叫做hive_metasotre的数据库(也可以在hive-site.xml中将其修改为其他名字)。
注意上面useSSL前面的&,必须要转义成:&,如果根据习惯直接写&则会报错。
异常解决
配置完成后,在 shell 命令行启动Hive,然后执行一下 show databases;
。此时,可能会遇到一个异常:MetaException(message:Version information not found in metastore.)
这个时候,可以登录到mysql,删除掉hive_metastore数据库,然后执行一下下面的命令,重新初始化一下元数据库:
# schematool --dbType mysql --initSchema
接下来,再次启动hive控制台,重新执行 show databases;
,如果成果,则说明一切正常了。
hive> show databases; OK default tglog_aw_2018 Time taken: 0.052 seconds, Fetched: 2 row(s)
至此,便完成了使用MySql来存储Hive元数据的配置。
感谢阅读,希望这篇文章能给你带来帮助!
以上所述就是小编给大家介绍的《配置Hive使用MySql存储元数据》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!
猜你喜欢:- 分布式存储ceph对象存储配置zone同步
- 配置中心 duic 1.8.0 发布,新增 PostgreSQL 存储配置
- 配置中心 duic 1.8.0 发布,新增 oracle 配置存储
- libvritd 配置 rbd存储池
- MyBatis 配置文件 用户密码加密存储
- NFS网络文件存储系统搭建配置详解
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
罗辑思维:迷茫时代的明白人
罗振宇 / 北京联合出版公司 / 2015-9 / 42
编辑推荐 1、 罗振宇,自媒体视频脱口秀《罗辑思维》主讲人,互联网知识型社群试水者,资深媒体人和传播专家。曾任CCTV《经济与法》《对话》制片人等。2012年底打造知识型视频脱口秀《罗辑思维》。半年内,由一款互联网自媒体视频产品,逐渐延伸成长为全新的互联网社群品牌。 他对商业和互联网的独到见解,影响了互联网一代的知识结构和对互联网的认识:人类正在从工业化时代进入互联网时代。新的时代将彻......一起来看看 《罗辑思维:迷茫时代的明白人》 这本书的介绍吧!