hadoop梳理

栏目: 编程工具 · 发布时间: 6年前

内容简介:Hadoop是apache基金会组织的一个顶级项目,其核心为HDFS和MapReduce,HDFS为海量的数据提供存储,而MapReduce为海量的数据提供计算,官网:在Apache Hadoop的基础上,Cloudera公司将其进行商业化改进和更新,它的发行版本就是CDH(Cloudera Distribution Hadoop),CDH官网:下载地址:

Hadoop简单介绍

Hadoop是apache基金会组织的一个顶级项目,其核心为HDFS和MapReduce,HDFS为海量的数据提供存储,而MapReduce为海量的数据提供计算,官网: http://hadoop.apache.org

在Apache Hadoop的基础上,Cloudera公司将其进行商业化改进和更新,它的发行版本就是CDH(Cloudera Distribution Hadoop),CDH官网: http://www.cloudera.com

下载地址:

CDH4.x: http://archive.cloudera.com/c...

CDH5.x: http://archive.cloudera.com/c...

CDH5.3.6文档: http://archive.cloudera.com/c...

Apache Hadoop : http://archive.apache.org/dis...

Apache Hadoop文档: http://hadoop.apache.org/docs

hadoop启动后会至少有五个进程。

ResourceManager

NodeManager

NameNode

NameNode节点的主要功能是管理系统的元数据,负责管理文件系统的命令空间,记录文件数据块在DataNode节点上的位置和副本信息,协调客户端对文件系统的访问,以及记录命名空间的改动和本身属性的变动。

DataNode

DataNode节点的主要功能就是负责节点所在物理节点上的存储管理。

SecondaryNameNode

启动命令

启动当前节点的服务,如namenode、secondarynamenode、datanode、journalnode、dfs、dfsadmin、fsck、balancer、zkfc等:

$HADOOP_HOME/sbin/hadoop-daemon.sh start namenode
$HADOOP_HOME/sbin/hadoop-daemon.sh start datanode

注意:hadoop-daemons.sh其实就是在hadoop-daemon.sh的基础上还调用了salves.sh,通知其他机器执行命令,也就是说hadoop-daemon.sh只对一台机器起作用,但是hadoop-daemons.sh会对多台机器起作用。

yarn-daemon.sh 同理。

或者分两个模块启动hdfs、yarn。

hdfs里面按顺序分别调用hadoop-daemons.sh脚本启动namenode,datanode,secondarynamenode,journalnode,zkfc。

stop-dfs.sh和start-dfs.sh一样,按照启动的顺序调用hadoop-daemons.sh来关闭服务进程;

yarn里面按顺序分别调用yarn-daemons.sh脚本启动resourcemanager,nodemanager服务。

stop-yarn.sh和start-yarn.sh一样,按照启动的顺序调用yarn-daemons.sh来关闭服务进程。

$HADOOP_HOME/sbin/start-dfs.sh 
$HADOOP_HOME/sbin/start-yarn.sh

一个命令同时启动两个模块:

$HADOOP_HOME/sbin/start-all.sh

以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

微信小程序运营与推广完全自学手册

微信小程序运营与推广完全自学手册

王洪波 / 电子工业出版社 / 2018-6 / 59

本书是运营管理方面的书籍,将小程序的运营推广问题置千小程序的整个运营管理体系中来谈,主要讲述小程序的定位规划、营销吸粉策略、评估优化这三大方面的内容,这三方面的内容之间是三位一体、密切相关的。 书中通过列举丰富且具有代表性的小程序实际案例来向读者提供些可行的运营推广办法。案例涉及美食类、电商类、旅游类、媒体类等小程序,可供多个行业的小程序运营者参考借鉴。 书中所提供的各种小程序营销策略......一起来看看 《微信小程序运营与推广完全自学手册》 这本书的介绍吧!

JS 压缩/解压工具
JS 压缩/解压工具

在线压缩/解压 JS 代码

JSON 在线解析
JSON 在线解析

在线 JSON 格式化工具

HTML 编码/解码
HTML 编码/解码

HTML 编码/解码