学习 HDFS(四):高可用

栏目: 服务器 · 发布时间: 6年前

内容简介:HDFS 采用了主从(Master/Slave)架构,就不可避免的要面对单点失效(SPOF,Single Point of Failure)的问题。Hadoop 2.X 之后,提供了对高可用(HA)的支持,架构如下所示:在高可用 HDFS 集群中,存在多个 NameNode。其中,有且只有一个 NameNode 是 Active 状态,其它 NameNode 是 Standby 状态。只有 Active 状态的 NameNode 提供服务。如果多个 NameNode 同时提供服务,会产生脑裂(Split

架构

HDFS 采用了主从(Master/Slave)架构,就不可避免的要面对单点失效(SPOF,Single Point of Failure)的问题。Hadoop 2.X 之后,提供了对高可用(HA)的支持,架构如下所示:

学习 HDFS(四):高可用

主备切换

在高可用 HDFS 集群中,存在多个 NameNode。其中,有且只有一个 NameNode 是 Active 状态,其它 NameNode 是 Standby 状态。只有 Active 状态的 NameNode 提供服务。如果多个 NameNode 同时提供服务,会产生脑裂(Split Brain)的情况,从而增加了维护数据一致性的成本。

当 Active NameNode 发生故障,Standby NameNode 会变成 Active NameNode 继续提供服务,实现主备切换。

数据同步

Active NameNode 和 Standby NameNode 数据同步,通过 QJM(Quorum Journal Manager)实现。

为了理解 QJM 数据同步的原理,需要先理解 Hadoop 检查点(Checkpoint)机制。检查点机制用于从故障或重启快速恢复数据。

HDFS 元数据包含两种文件:

  • 命名空间镜像 fsimage 文件,包括文件系统目录树、文件/目录信息和文件件的数据块索引,位置在 dfs.namenode.name.dir 目录下;
  • 编辑日志 edits 文件,位置在 dfs.namenode.edits.dir 目录下。

旧的 fsimgage 通过重放 edits 编辑日志,生成新的 fsimage

学习 HDFS(四):高可用

集群中的 JournalNode,通常是至少3个节点,作用相当于共享存储。Active NameNode 向 JournalNode 写编辑日志数据,Standby NameNode 从 JournalNode 读编辑日志数据,从而实现了数据同步。

故障检测

在高可用 HDFS 集群中,ZKFC(Zookeeper Failover Controller)用于监控 NameNode,一个 Failover Controller 监控一个 NameNode,当 Active NameNode 不可用时,触发自动故障恢复。

参考


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

JSP应用开发技术

JSP应用开发技术

柳永坡 / 人民邮电出版社 / 2005-9 / 52.00元

本书全面系统地介绍了JSP应用开发技术,包括JSP预备知识和环境配置、JSP编程基础、JSP应用开发进阶、在JSP中使用数据库、Servlet技术、标签库和表达式语言、Web编程模式和应用框架等几个方面的内容。本书不但由浅入深地介绍了JSP程序设计的原理、方法和技术,还提供了大量的JSP应用开发实例,给出了相应的实用技巧、操作步骤及优化思路。 本书着重于JSP技术的应用性和可操作性,......一起来看看 《JSP应用开发技术》 这本书的介绍吧!

CSS 压缩/解压工具
CSS 压缩/解压工具

在线压缩/解压 CSS 代码

RGB转16进制工具
RGB转16进制工具

RGB HEX 互转工具

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试