学习 Hive(七):跨集群备份

栏目: 服务器 · 发布时间: 6年前

内容简介:Hive 跨集群备份主要备份两类:也就是说,跨集群备份就是从一个集群把元数据和数据文件拷贝到另一个集群中Hive 提供了 IMPORT/EXPORT 导入导出元数据和数据文件功能,HDFS 提供了 distcp 跨集群数据拷贝功能,结合这两个工具,就可以实现跨集群备份功能

Hive 跨集群备份主要备份两类:

  • 存储在 MySQL 中的元数据
  • 存储在 HDFS 中的数据文件

也就是说,跨集群备份就是从一个集群把元数据和数据文件拷贝到另一个集群中

Hive 提供了 IMPORT/EXPORT 导入导出元数据和数据文件功能,HDFS 提供了 distcp 跨集群数据拷贝功能,结合这两个工具,就可以实现跨集群备份功能

全量备份

在主集群,导出全量数据到临时目录:

hive -e "EXPORT TABLE ods.users TO '/tmp/data/users'"

跨集群拷贝文件:

hadoop distcp /tmp/data/users hdfs://BACKUP_CLUSTER_NAMENODE:8082/tmp/data/users

在备份集群,从临时目录导入全量数据:

hive -e "IMPORT TABLE ods.users FROM '/tmp/data/users'"

分区备份

在主集群,导出分区数据到临时目录:

hive -e "EXPORT TABLE ods.sales PARTITION (ods_date='2018-06-04') TO '/tmp/data/sales/2018-06-04'"

跨集群拷贝文件:

hadoop distcp /tmp/data/sales/2018-06-04 hdfs://BACKUP_CLUSTER_NAMENODE:8082/tmp/data/sales/2018-06-04

在备份集群,从临时目录导入分区数据:

hive -e "IMPORT TABLE ods.users PARTITION (ods_date='2018-06-04') FROM '/tmp/data/sales/2018-06-04'"

参考


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

架构即未来:现代企业可扩展的Web架构、流程和组织(原书第2版)

架构即未来:现代企业可扩展的Web架构、流程和组织(原书第2版)

Martin L. Abbott、Michael T. Fisher / 陈斌 / 机械工业出版社 / 2016-4-15 / 99.00

任何一个持续成长的公司最终都需要解决系统、组织和流程的扩展性问题。本书汇聚了作者从eBay、VISA、Salesforce.com到Apple超过30年的丰富经验, 全面阐释了经过验证的信息技术扩展方法,对所需要掌握的产品和服务的平滑扩展做了详尽的论述,并在第1版的基础上更新了扩展的策略、技术和案例。 针对技术和非技术的决策者,马丁•阿伯特和迈克尔•费舍尔详尽地介绍了影响扩展性的各个方面,包......一起来看看 《架构即未来:现代企业可扩展的Web架构、流程和组织(原书第2版)》 这本书的介绍吧!

JS 压缩/解压工具
JS 压缩/解压工具

在线压缩/解压 JS 代码

URL 编码/解码
URL 编码/解码

URL 编码/解码

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试