CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

栏目: 编程工具 · 发布时间: 6年前

内容简介:CentOS-master   nameNode   192.168.11.1281.首先创建好一个CentOS虚拟机,将它作为主节点我这里起名为CentOS-master,起什么都行,不固定要求

这里搭建的是 3个节点的完全分布式,即1个nameNode,2个dataNode,分别如下:

CentOS-master   nameNode   192.168.11.128

CentOS-node1   dataNode    192.168.11.131

CentOS-node2   dataNode    192.168..11.132

1.首先创建好一个CentOS虚拟机,将它作为主节点我这里起名为CentOS-master,起什么都行,不固定要求

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

2.VMware中打开虚拟机,输入java -version,检查是否有JDK环境,不要用系统自带的openJDK版本,要自己安装的版本

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

3.输入 systemctl status firewalld.service ,若如图,防火墙处于running状态,则执行第4和第5步,否则直接进入第6步

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

4.输入 systemctl stop firewalld.service ,关闭防火墙

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

5.输入 systemctl disable firewalld.service ,禁用防火墙

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

6.输入 mkdir /usr/local/Hadoop 创建一个hadoop的文件夹

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

7.将hadoop的tar包放到刚创建好的目录

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

8.进入hadoop目录,输入 tar -zxvf hadoop-2.7.3.tar.gz 解压tar包

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

9.输入 vi /etc/profile ,配置环境变量

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

10.加入如下内容,保存并退出

HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.3/

PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

11.输入 . /etc/profile ,使环境变量生效

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

12.任意目录输入 hado ,然后按Tab,如果自动补全为hadoop,则说明环境变量配的没问题,否则检查环境变量哪出错了

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

13.创建3个之后要用到的文件夹,分别如下:

mkdir /usr/local/hadoop/tmp

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

mkdir -p /usr/local/hadoop/hdfs/name

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

mkdir /usr/local/hadoop/hdfs/data

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

14.进入hadoop解压后的 /etc/hadoop 目录,里面存放的是hadoop的配置文件,接下来要修改这里面一些配置文件

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

15.有2个.sh文件,需要指定一下 JAVA 的目录,首先输入 vi hadoop-env.sh 修改配置文件

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

16.将原有的JAVA_HOME注释掉,根据自己的JDK安装位置,精确配置JAVA_HOME如下,保存并退出

export JAVA_HOME=/usr/local/java/jdk1.8.0_102/

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

17.输入 vi yarn-env.sh 修改配置文件

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

18.加入如下内容,指定JAVA_HOME,保存并退出

export JAVA_HOME=/usr/local/java/jdk1.8.0_102

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

19.输入 vi core-site.xml 修改配置文件

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

20.在configuration标签中,添加如下内容,保存并退出,注意这里配置的hdfs:master:9000是不能在浏览器访问的

<property>

<name> fs.default.name </name>

<value>hdfs://master:9000</value>

<description>指定HDFS的默认名称</description>

</property>

<property>

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value>

<description>HDFS的URI</description>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop/tmp</value>

<description>节点上本地的hadoop临时文件夹</description>

</property>

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

21.输入 vi hdfs-site.xml 修改配置文件

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

22.在configuration标签中,添加如下内容,保存并退出

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/usr/local/hadoop/hdfs/name</value>

<description>namenode上存储hdfs名字空间元数据 </description>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/usr/local/hadoop/hdfs/data</value>

<description>datanode上数据块的物理存储位置</description>

</property>

<property>

<name>dfs.replication</name>

<value>1</value>

<description>副本个数,默认是3,应小于datanode机器数量</description>

</property>

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

23.输入 cp mapred-site.xml.template mapred-site.xml 将mapred-site.xml.template文件复制到当前目录,并重命名为mapred-site.xml

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

24.输入 vi mapred-site.xml 修改配置文件

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

25.在configuration标签中,添加如下内容,保存并退出

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

<description>指定mapreduce使用yarn框架</description>

</property>

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

26.输入 vi yarn-site.xml 修改配置文件

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

27.在configuration标签中,添加如下内容,保存并退出

<property>

<name>yarn.resourcemanager.hostname</name>

<value>master</value>

<description> 指定 resourcemanager所在的hostname</description>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

<description>

NodeManager上运行的附属服务。

需配置成 mapreduce_shuffle,才可运行MapReduce程序

</description>

</property>

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

28.输入 vi slaves 修改配置文件

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

29.将localhost删掉,加入如下内容,即dataNode节点的主机名

node1

node2

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

30.将虚拟机关闭,再复制两份虚拟机,重命名为如下,注意这里一定要关闭虚拟机,再复制

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

31.将3台虚拟机都打开,后两台复制的虚拟机打开时,都选择“我已复制该虚拟机”

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

32.在master机器上,输入 vi /etc/hostname,将localhost改为master,保存并退出

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

33.在node1机器上,输入 vi /etc/hostname,将localhost改为node1,保存并退出

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

34.在node2机器上,输入 vi /etc/hostname,将localhost改为node2,保存并退出

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

35.在三台机器分别输入 vi /etc/hosts 修改文件,其作用是将一些常用的网址域名与其对应的IP地址建立一个关联,当用户在访问网址时,系统会首先自动从Hosts文件中寻找对应的IP地址

36.三个文件中都加入如下内容,保存并退出,注意这里要根据自己实际IP和节点主机名进行更改,IP和主机名中间要有一个空格

192.168.11.128 master

192.168.11.131 node1

192.168.11.132 node2

37.在master机器上输入 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 创建一个无密码的公钥,-t是类型的意思,dsa是生成的密钥类型,-P是密码,’’表示无密码,-f后是秘钥生成后保存的位置

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

38.在master机器上输入 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 将公钥id_dsa.pub添加进keys,这样就可以实现无密登陆ssh

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

39.在master机器上输入 ssh master 测试免密码登陆

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

如果有询问,则输入 yes ,回车

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

40.在node1主机上执行 mkdir ~/.ssh

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

41.在node2主机上执行 mkdir ~/.ssh

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

42.在master机器上输入 scp ~/.ssh/authorized_keys root@node1:~/.ssh/authorized_keys 将主节点的公钥信息导入node1节点,导入时要输入一下node1机器的登陆密码

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

43.在master机器上输入 scp ~/.ssh/authorized_keys root@node2:~/.ssh/authorized_keys 将主节点的公钥信息导入node2节点,导入时要输入一下node2机器的登陆密码

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

44.在三台机器上分别执行 chmod 600 ~/.ssh/authorized_keys 赋予密钥文件权限

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

45.在master节点上分别输入 ssh node1 和 ssh node2 测试是否配置ssh成功

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

46. 如果 node节点还没有hadoop, master机器上分别输入如下命令将hadoop复制

scp -r /usr/local/hadoop/ root@node1:/usr/local/

scp -r /usr/local/hadoop/ root@node2:/usr/local/

47.在master机器上,任意目录输入 hdfs namenode -format 格式化namenode,第一次使用需格式化一次,之后就不用再格式化,如果改一些配置文件了,可能还需要再次格式化

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

48.格式化完成

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

49.在master机器上,进入hadoop的sbin目录,输入 ./start-all.sh 启动hadoop

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

50.输入yes,回车

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

51.输入 jps 查看当前java的进程,该命令是JDK1.5开始有的,作用是列出当前java进程的PID和Java主类名,nameNode节点除了JPS,还有3个进程,启动成功

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

52.在node1机器和node2机器上分别输入 jps 查看进程如下,说明配置成功

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

53.在浏览器访问nameNode节点的8088端口和50070端口可以查看hadoop的运行状况

CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式

54.在master机器上,进入hadoop的sbin目录,输入 ./stop-all.sh 关闭hadoop

Hadoop2.3-HA高可用集群环境搭建 https://www.linuxidc.com/Linux/2017-03/142155.htm

Hadoop项目之基于CentOS7的Cloudera 5.10.1(CDH)的安装部署  https://www.linuxidc.com/Linux/2017-04/143095.htm

CentOS 7.4下Hadoop 2.7.6安装部署 https://www.linuxidc.com/Linux/2018-08/153353.htm

Hadoop2.7.2集群搭建详解(高可用)  https://www.linuxidc.com/Linux/2017-03/142052.htm

使用Ambari来部署Hadoop集群(搭建内网HDP源)  https://www.linuxidc.com/Linux/2017-03/142136.htm

Ubuntu 14.04下Hadoop集群安装  https://www.linuxidc.com/Linux/2017-02/140783.htm

CentOS 6.7安装Hadoop 2.7.2  https://www.linuxidc.com/Linux/2017-08/146232.htm

Ubuntu 16.04上构建分布式Hadoop-2.7.3集群  https://www.linuxidc.com/Linux/2017-07/145503.htm

CentOS 7 下 Hadoop 2.6.4 分布式集群环境搭建  https://www.linuxidc.com/Linux/2017-06/144932.htm

Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程  https://www.linuxidc.com/Linux/2017-06/144926.htm

CentOS 7.4下编译安装Hadoop 2.7.6 及所需文件  https://www.linuxidc.com/Linux/2018-06/152786.htm

Ubuntu 16.04.3 下安装配置 Hadoop https://www.linuxidc.com/Linux/2018-04/151993.htm

更多Hadoop相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

Linux公社的RSS地址: https://www.linuxidc.com/rssFeed.aspx

本文永久更新链接地址: https://www.linuxidc.com/Linux/2018-08/153356.htm


以上所述就是小编给大家介绍的《CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

精益创业实战

精益创业实战

Ash Maurya / 张玳 / 图灵文化发展有限公司 / 2013-1 / 39.00元

《精益创业实战(第2版)》融合了精益创业法、客户开发、商业模式画布和敏捷/持续集成的精华,讲解精益创业实战法。作者以自己的创业项目为主线,结合大量真实案例,并融入一些伟大创业者的智慧,创建了一套思考、验证和发布产品的系统。那些想要验证自己的创意、解决实际问题和渴望拥有成功事业的人,可以把《精益创业实战(第2版)》当成一套明确的实践计划、一幅清晰的创业路线图、一本实践指南,或者一套反复实践的方法论。一起来看看 《精益创业实战》 这本书的介绍吧!

RGB转16进制工具
RGB转16进制工具

RGB HEX 互转工具

在线进制转换器
在线进制转换器

各进制数互转换器

URL 编码/解码
URL 编码/解码

URL 编码/解码