学习 Hive(七):跨集群备份

栏目: 服务器 · 发布时间: 6年前

内容简介:Hive 跨集群备份主要备份两类:也就是说,跨集群备份就是从一个集群把元数据和数据文件拷贝到另一个集群中Hive 提供了 IMPORT/EXPORT 导入导出元数据和数据文件功能,HDFS 提供了 distcp 跨集群数据拷贝功能,结合这两个工具,就可以实现跨集群备份功能

Hive 跨集群备份主要备份两类:

  • 存储在 MySQL 中的元数据
  • 存储在 HDFS 中的数据文件

也就是说,跨集群备份就是从一个集群把元数据和数据文件拷贝到另一个集群中

Hive 提供了 IMPORT/EXPORT 导入导出元数据和数据文件功能,HDFS 提供了 distcp 跨集群数据拷贝功能,结合这两个工具,就可以实现跨集群备份功能

全量备份

在主集群,导出全量数据到临时目录:

hive -e "EXPORT TABLE ods.users TO '/tmp/data/users'"

跨集群拷贝文件:

hadoop distcp /tmp/data/users hdfs://BACKUP_CLUSTER_NAMENODE:8082/tmp/data/users

在备份集群,从临时目录导入全量数据:

hive -e "IMPORT TABLE ods.users FROM '/tmp/data/users'"

分区备份

在主集群,导出分区数据到临时目录:

hive -e "EXPORT TABLE ods.sales PARTITION (ods_date='2018-06-04') TO '/tmp/data/sales/2018-06-04'"

跨集群拷贝文件:

hadoop distcp /tmp/data/sales/2018-06-04 hdfs://BACKUP_CLUSTER_NAMENODE:8082/tmp/data/sales/2018-06-04

在备份集群,从临时目录导入分区数据:

hive -e "IMPORT TABLE ods.users PARTITION (ods_date='2018-06-04') FROM '/tmp/data/sales/2018-06-04'"

参考


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Iterative Methods for Sparse Linear Systems, Second Edition

Iterative Methods for Sparse Linear Systems, Second Edition

Yousef Saad / Society for Industrial and Applied Mathematics / 2003-04-30 / USD 102.00

Tremendous progress has been made in the scientific and engineering disciplines regarding the use of iterative methods for linear systems. The size and complexity of linear and nonlinear systems arisi......一起来看看 《Iterative Methods for Sparse Linear Systems, Second Edition》 这本书的介绍吧!

HTML 压缩/解压工具
HTML 压缩/解压工具

在线压缩/解压 HTML 代码

CSS 压缩/解压工具
CSS 压缩/解压工具

在线压缩/解压 CSS 代码

XML、JSON 在线转换
XML、JSON 在线转换

在线XML、JSON转换工具