CentOS 7 下 Hadoop 2.6.4 分布式集群环境搭建

栏目: 编程工具 · 发布时间: 7年前

内容简介:CentOS 7 下 Hadoop 2.6.4 分布式集群环境搭建

摘要

在实际集群上搭建Hadoop 2.6.4 分布式集群环境。

集群准备

有五台机器,通过已经更改机器名称为master,slaver1,slaver2,slaver3,slaver4,并设置了面密码ssh登录。可以参考这里 http://www.linuxidc.com/Linux/2016-02/128149.htm

机器名称 ip
master 192.168.122.1
slaver1 192.168.122.2
slaver2 192.168.122.3
slaver3 192.168.122.4
slaver4 192.168.122.5

安装JDK

CentOS7 默认是openJDK

CentOS 7 下 Hadoop 2.6.4 分布式集群环境搭建

卸载CentOS 7 下的openJDK,安装Sun JDK1.7

查看openJDK安装路径

rpm -qa | grep java

CentOS 7 下 Hadoop 2.6.4 分布式集群环境搭建

卸载openJDK

rpm -e --nodeps  java-1.7.0-openjdk-1.7.0.85-2.6.1.2.el7_1.x86_64
 rpm -e --nodeps  java-1.8.0-openjdk-devel-1.8.0.60-2.b27.el7_1.x86_64
 rpm -e --nodeps  java-1.6.0-openjdk-1.6.0.36-1.13.8.1.el7_1.x86_64
 rpm -e --nodeps  java-1.6.0-openjdk-devel-1.6.0.36-1.13.8.1.el7_1.x86_64

安装Sun JDK1.7

从官网下载 jdk-7u80-linux-x64.rpm ,上传到 master

CentOS 7 下 Hadoop 2.6.4 分布式集群环境搭建

安装 Sun JDK1.7

rpm -ivh jdk-7u80-linux-x64.rpm

CentOS 7 下 Hadoop 2.6.4 分布式集群环境搭建

修改环境变量

/etc/profile 里添加

export JAVA_HOME=/usr/java/jdk1.7.0_80
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

CentOS 7 下 Hadoop 2.6.4 分布式集群环境搭建 CentOS 7 下 Hadoop 2.6.4 分布式集群环境搭建

source 生效

CentOS 7 下 Hadoop 2.6.4 分布式集群环境搭建

检验安装

CentOS 7 下 Hadoop 2.6.4 分布式集群环境搭建

安装 Hadoop 2.6.4

下载 ,解压

从官网下载 hadoop 2.6.4 , 并解压在 master 上

解压路径自己选择,我这里是解压在

/root/workspace/software/hadoop-2.6.4

CentOS 7 下 Hadoop 2.6.4 分布式集群环境搭建

Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程 http://www.linuxidc.com/Linux/2017-06/144926.htm

Hadoop2.3-HA高可用集群环境搭建 http://www.linuxidc.com/Linux/2017-03/142155.htm

Hadoop项目之基于CentOS7的Cloudera 5.10.1(CDH)的安装部署 http://www.linuxidc.com/Linux/2017-04/143095.htm

Hadoop2.7.2集群搭建详解(高可用) http://www.linuxidc.com/Linux/2017-03/142052.htm

使用Ambari来部署Hadoop集群(搭建内网HDP源) http://www.linuxidc.com/Linux/2017-03/142136.htm

Ubuntu 14.04下Hadoop集群安装  http://www.linuxidc.com/Linux/2017-02/140783.htm

CentOS 6.9下Hadoop伪分布式环境搭建 http://www.linuxidc.com/Linux/2017-06/144884.htm

添加环境变量

/etc/profile 里添加

export HADOOP_HOME=/root/workspace/software/hadoop-2.6.4/
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

修改 Hadoop 配置文件

hadoop-env.sh

在 hadoop 解压路径下面,/etc/hadoop/hadoop-env.sh 增加下面两行

export JAVA_HOME=/usr/java/jdk1.7.0_80
export HADOOP_PREFIX=/root/workspace/software/hadoop-2.6.4

core-site.xml

在 hadoop 解压路径下面,/etc/hadoop/core-site.xml增加下面内容

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000/</value>
    </property>
    <property>
         <name>hadoop.tmp.dir</name>
         <value>/root/workspace/software/hadoop-2.6.4/tmp</value>
    </property>
</configuration>

hdfs-site.xml

在 hadoop 解压路径下面,/etc/hadoop/hdfs-site.xml 增加下面内容

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

这里设置成3,表示数据有3个副本。

mapred-site.xml

在 hadoop 解压路径下面,/etc/hadoop/mapred-site.xml 增加下面内容

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-env.sh

在 hadoop 解压路径下面,/etc/hadoop/yarn-env.sh 增加下面,增加 Java-HOME 配置

export JAVA_HOME=/usr/java/jdk1.7.0_80

yarn-site.xml

在 hadoop 解压路径下面,/etc/hadoop/yarn-site.xml 增加下面内容

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
  <property> 
  <description>The address of the applications manager interface in the RM.</description> 
  <name>Yarn.resourcemanager.address</name> 
  <value>master:18040</value> 
  </property> 

  <property> 
  <description>The address of the scheduler interface.</description> 
  <name>Yarn.resourcemanager.scheduler.address</name> 
  <value>master:18030</value> 
  </property> 

  <property> 
  <description>The address of the RM web application.</description> 
  <name>Yarn.resourcemanager.webapp.address</name> 
  <value>master:18088</value> 
  </property>

  <property> 
  <description>The address of the resource tracker interface.</description> 
  <name>Yarn.resourcemanager.resource-tracker.address</name> 
  <value>master:8025</value> 
  </property> 
</configuration>

这里添加的一些端口号,方便从远程通过浏览器查看集群情况,推荐按照这样添加。

slaves

在 hadoop 解压路径下面,/etc/hadoop/slaves 增加下面内容

master
slaver1
slaver2
slaver3
slaver4

更多详情见请继续阅读下一页的精彩内容 http://www.linuxidc.com/Linux/2017-06/144932p2.htm


以上所述就是小编给大家介绍的《CentOS 7 下 Hadoop 2.6.4 分布式集群环境搭建》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Ajax与PHP Web开发

Ajax与PHP Web开发

达里 / 王德民、王新颖、刘昕 / 人民邮电出版社 / 2007-4 / 39.00元

本书指导读者使用Ajax、PHP及其他相关技术建立快速响应的网页。本书不仅从Ajax的客户端和服务器端技术两个方面指导读者逐步掌握Ajax基础应用,还通过实例详细演示了Ajax表单验证、Ajax聊天室、Ajax Suggest、使用SVG实现的Ajax实时绘图程序、Ajax Grid、Ajax RSS阅读器和Ajax拖放等的实现过程。同时还介绍了在Windows和UNIX系统下的应用程序环境配置和......一起来看看 《Ajax与PHP Web开发》 这本书的介绍吧!

HTML 压缩/解压工具
HTML 压缩/解压工具

在线压缩/解压 HTML 代码

XML、JSON 在线转换
XML、JSON 在线转换

在线XML、JSON转换工具