简单认识namenode和datanode

一、Hadoop的启动

在阅读这篇文章之前，你应该先阅读： Hadoop的安装与环境搭建 .

1. 首先在npdev1机器上面运行hadoop-daemon.sh start namenode，启动namenode.

2. 然后在npfdev2,npfdev3,npfdev4分别运行hadoop-daemon.sh start datanode

3. 启动完成之后，我们的Hadoop的物理架构和逻辑架构如下：

npfdev1机器上面运行namenode, npfdev2,npfdev3,npfdev4分别运行datanode.

4. HDFS架构如下：

Hadoop简单来说就是多台机器备份的，可以横向扩展的系统。

二、使用命令行查看整个集群信息

1. 使用hdfs dfsadmin -report命令

我们为了更好的展示，使用hdfs dfsadmin -report | more 命令：

1.1 看集群的使用情况：

1.2 看集群的datanode的情况, 总共有3个live的datanode.

第一个datanode:

第二个datanode:

第三个datanode:

三、使用web页面查看整个集群信息

1. 访问http://npfdev1:50070,选择Overview选项:

2. 选择Datanodes选项:

3. 选择Utilities选项下面的browse directory,可以看到整个硬盘的使用情况 :

4. 选择Utilities选项下面的logs,可以看到启动日志:

四、关闭Hadoop集群

1. 首先在npdev1机器上面运行hadoop-daemon.sh stop namenode.

2. 然后在npfdev2,npfdev3,npfdev4分别运行hadoop-daemon.sh stop datanode.

五、启动和关闭Hadoop集群命令步骤总结：

1. 在master上启动hadoop-daemon.sh start namenode.

2. 在slave上启动hadoop-daemon.sh start datanode.

3. 用jps指令观察执行结果.

4. 用hdfs dfsadmin -report观察集群配置情况.

5. 通过http://npfdev1:50070界面观察集群运行情况.

6. 用hadoop-daemon.sh stop ...手工关闭集群.

更多Hadoop相关信息见 Hadoop 专题页面 https://www.linuxidc.com/topicnews.aspx?tid=13

Linux公社的RSS地址： https://www.linuxidc.com/rssFeed.aspx

本文永久更新链接地址： https://www.linuxidc.com/Linux/2018-08/153639.htm