简单认识namenode和datanode

栏目: 服务器 · 发布时间: 6年前

内容简介:在阅读这篇文章之前,你应该先阅读:1. 首先在npdev1机器上面运行hadoop-daemon.sh start namenode,启动namenode.

一、Hadoop的启动

在阅读这篇文章之前,你应该先阅读: Hadoop的安装与环境搭建 .

1. 首先在npdev1机器上面运行hadoop-daemon.sh start namenode,启动namenode.

简单认识namenode和datanode

2. 然后在npfdev2,npfdev3,npfdev4分别运行hadoop-daemon.sh start datanode

简单认识namenode和datanode

3. 启动完成之后,我们的Hadoop的物理架构和逻辑架构如下:

npfdev1机器上面运行namenode, npfdev2,npfdev3,npfdev4分别运行datanode.

简单认识namenode和datanode

4. HDFS架构如下:

Hadoop简单来说就是多台机器备份的,可以横向扩展的系统。

简单认识namenode和datanode

二、使用命令行查看整个集群信息

1. 使用hdfs dfsadmin -report命令

我们为了更好的展示,使用hdfs dfsadmin -report | more 命令:

1.1 看集群的使用情况:

简单认识namenode和datanode

1.2 看集群的datanode的情况, 总共有3个live的datanode.

第一个datanode:

简单认识namenode和datanode

第二个datanode:

简单认识namenode和datanode

第三个datanode:

简单认识namenode和datanode

三、使用web页面查看整个集群信息

1. 访问http://npfdev1:50070,选择Overview选项:

简单认识namenode和datanode

2. 选择Datanodes选项:

简单认识namenode和datanode

3. 选择Utilities选项下面的browse directory,可以看到整个硬盘的使用情况 :

简单认识namenode和datanode

4. 选择Utilities选项下面的logs,可以看到启动日志:

简单认识namenode和datanode

四、关闭Hadoop集群

1. 首先在npdev1机器上面运行hadoop-daemon.sh stop namenode.

简单认识namenode和datanode

2. 然后在npfdev2,npfdev3,npfdev4分别运行hadoop-daemon.sh stop datanode.

简单认识namenode和datanode

五、启动和关闭Hadoop集群命令步骤总结:

1. 在master上启动hadoop-daemon.sh start namenode.

2. 在slave上启动hadoop-daemon.sh start datanode.

3. 用jps指令观察执行结果.

4. 用hdfs dfsadmin -report观察集群配置情况.

5. 通过http://npfdev1:50070界面观察集群运行情况.

6. 用hadoop-daemon.sh stop ...手工关闭集群.

更多Hadoop相关信息见 Hadoop 专题页面 https://www.linuxidc.com/topicnews.aspx?tid=13

Linux公社的RSS地址: https://www.linuxidc.com/rssFeed.aspx

本文永久更新链接地址: https://www.linuxidc.com/Linux/2018-08/153639.htm


以上所述就是小编给大家介绍的《简单认识namenode和datanode》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

联盟

联盟

里德•霍夫曼、本•卡斯诺查、克里斯•叶 / 路蒙佳 / 中信出版社 / 2015-2-5 / 39.00元

在充满变化的世界,联盟潜在的合伙人 将不确定的行业转变为可掌控的职业生涯 与世界紧密连接,开创精彩的事业与未来 终生效忠于一家公司已经成为历史,我们正在经历的自由雇佣制——将员工看作自由人——无法建立创新所需的高度信任与合作的关系。 互联网时代,企业如何用全新的人才策略定义员工的忠诚?未来职业成功的秘诀是什么? 《联盟》提供了一种使雇主与员工之间从商业交易转变为互惠关......一起来看看 《联盟》 这本书的介绍吧!

JSON 在线解析
JSON 在线解析

在线 JSON 格式化工具

图片转BASE64编码
图片转BASE64编码

在线图片转Base64编码工具

HEX CMYK 转换工具
HEX CMYK 转换工具

HEX CMYK 互转工具