学习 HDFS（四）：高可用

栏目: 服务器 · 发布时间: 7年前

内容简介：HDFS 采用了主从（Master/Slave）架构，就不可避免的要面对单点失效（SPOF，Single Point of Failure）的问题。Hadoop 2.X 之后，提供了对高可用（HA）的支持，架构如下所示：在高可用 HDFS 集群中，存在多个 NameNode。其中，有且只有一个 NameNode 是 Active 状态，其它 NameNode 是 Standby 状态。只有 Active 状态的 NameNode 提供服务。如果多个 NameNode 同时提供服务，会产生脑裂（Split

架构

HDFS 采用了主从（Master/Slave）架构，就不可避免的要面对单点失效（SPOF，Single Point of Failure）的问题。Hadoop 2.X 之后，提供了对高可用（HA）的支持，架构如下所示：

学习 HDFS（四）：高可用

主备切换

在高可用 HDFS 集群中，存在多个 NameNode。其中，有且只有一个 NameNode 是 Active 状态，其它 NameNode 是 Standby 状态。只有 Active 状态的 NameNode 提供服务。如果多个 NameNode 同时提供服务，会产生脑裂（Split Brain）的情况，从而增加了维护数据一致性的成本。

当 Active NameNode 发生故障，Standby NameNode 会变成 Active NameNode 继续提供服务，实现主备切换。

数据同步

Active NameNode 和 Standby NameNode 数据同步，通过 QJM（Quorum Journal Manager）实现。

为了理解 QJM 数据同步的原理，需要先理解 Hadoop 检查点（Checkpoint）机制。检查点机制用于从故障或重启快速恢复数据。

HDFS 元数据包含两种文件：

命名空间镜像 fsimage 文件，包括文件系统目录树、文件/目录信息和文件件的数据块索引，位置在 dfs.namenode.name.dir 目录下；
编辑日志 edits 文件，位置在 dfs.namenode.edits.dir 目录下。

旧的 fsimgage 通过重放 edits 编辑日志，生成新的 fsimage 。

学习 HDFS（四）：高可用

集群中的 JournalNode，通常是至少3个节点，作用相当于共享存储。Active NameNode 向 JournalNode 写编辑日志数据，Standby NameNode 从 JournalNode 读编辑日志数据，从而实现了数据同步。

故障检测

在高可用 HDFS 集群中，ZKFC（Zookeeper Failover Controller）用于监控 NameNode，一个 Failover Controller 监控一个 NameNode，当 Active NameNode 不可用时，触发自动故障恢复。

参考

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。

码农书籍

Introduction to Linear Optimization

Dimitris Bertsimas、John N. Tsitsiklis / Athena Scientific / 1997-02-01 / USD 89.00

"The true merit of this book, however, lies in its pedagogical qualities which are so impressive..." "Throughout the book, the authors make serious efforts to give geometric and intuitive explanations......一起来看看《Introduction to Linear Optimization》这本书的介绍吧!

码农工具

HTML 压缩/解压工具

在线压缩/解压 HTML 代码

图片转BASE64编码

在线图片转Base64编码工具