Hadoop2.7.3完全分布式集群搭建

栏目: 编程工具 · 发布时间: 7年前

内容简介:Hadoop2.7.3完全分布式集群搭建

集群如下:

192.168.188.111 master

192.168.188.112 slave1

192.168.188.113 slave2

一、环境配置

1.修改hosts和hostname

以master为例:

修改hosts

[[email protected] ~]# vim /etc/hosts

192.168.188.111 master

192.168.188.112 slave1

192.168.188.113 slave2

修改hostname

[[email protected] ~]# vim /etc/hostname

同样地,在slave1和slave2做相同的hostname操作,分别命名为slave1和slave2.然后分别把slave1和slave2的hosts文件更改为和master一样。

2.配免密登录

次文章重点不在配免密登录,所有略,可以看其他博客。

3.配置环境变量

[[email protected] ~]# vim /etc/profile
#java
export JAVA_HOME=/root/package/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin

#spark
export SPARK_HOME=/root/package/spark-2.1.0-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

#ANACONDA
export ANACONDA=/root/anaconda2
export PATH=$PATH:$ANACONDA/bin

#HADOOP
export HADOOP_HOME=/root/package/hadoop-2.7.3
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

输入 source /etc/profile 使配置文件生效。

[[email protected] ~]# source /etc/profile

查看配置是否成功:

输入 java -version

Hadoop2.7.3完全分布式集群搭建 出现以上信息则 Java 配置成功。

二、hadoop配置

1.master配置

首先,安装hadoop-2.7.3,我是直接在要安装的目录下解压,所有在tar -zxvf 后边 没有输入其他的路径。

[[email protected] package]# tar -zxvf hadoop-2.7.3

2.hadoop-env.sh配置

hadoop-2.7.3 的配置文件都在 /root/package/hadoop-2.7.3/etc/hadoop 下

/root/package/hadoop-2.7.3/etc/hadoop
[[email protected] hadoop]# vim hadoop-env.sh

修改JAVA_HOME值

# The java implementation to use.
export JAVA_HOME=/root/package/jdk1.8.0_121

3.yarn-env.sh配置

[[email protected] hadoop]# vim yarn-env.sh
# some Java parameters
export JAVA_HOME=/root/package/jdk1.8.0_121

4.修改slaves

Hadoop2.7.3完全分布式集群搭建

[[email protected] hadoop]# vim slaves

将内容修改为

slave1
slave2

5.core-site.xml配置

<configuration>
        <!-- 指定hdfs的nameservice为ns1 -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://10.10.11.181:9000</value>
        </property>
        <!-- Size of read/write buffer used in SequenceFiles. -->
        <property>
         <name>io.file.buffer.size</name>
         <value>131072</value>
       </property>
        <!-- 指定hadoop临时目录,自行创建 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/hadoop/tmp</value>
        </property>
</configuration>

6.hdfs-site.xml配置

<configuration>

<property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>10.10.11.181:50090</value>
    </property>
  <property>
      <name>dfs.replication</name>
      <value>3</value>
   </property>

   <property>
      <name>dfs.namenode.name.dir</name>
      <value>file:/root/hadoop/hdfs/namenode/dfs/name</value>
   </property>

   <property>
      <name>dfs.datanode.data.dir</name>
      <value>file:/root/hadoop/hdfs/datanode/dfs/data</value>
   </property>
        <property>
              <name>dfs.webhdfs.enabled</name>
              <value>true</value>
         </property>
</configuration>

7.配置mapred-site.xml

先复制再修改

[[email protected] hadoop]# cp mapred-site.xml.template mapred-site.xml
<configuration>
        <property>
        <name>mapreduce.framework.name</name>
                <value>yarn</value>
           </property>
          <property>
                  <name>mapreduce.jobhistory.address</name>
                  <value>192.168.188.111:10020</value>
          </property>
          <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>192.168.188.111:19888</value>
       </property>
</configuration>

8.yarn-site.xml配置

<configuration>  
        <property>  
               <name>yarn.nodemanager.aux-services</name>  
               <value>mapreduce_shuffle</value>  
        </property>  
        <property>                                                                  
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  
               <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
        </property>  
        <property>  
               <name>yarn.resourcemanager.address</name>  
               <value>master:8032</value>  
       </property>  
       <property>  
               <name>yarn.resourcemanager.scheduler.address</name>  
               <value>master:8030</value>  
       </property>  
       <property>  
            <name>yarn.resourcemanager.resource-tracker.address</name>  
             <value>master:8031</value>  
      </property>  
      <property>  
              <name>yarn.resourcemanager.admin.address</name>  
               <value>master:8033</value>  
       </property>  
       <property>  
               <name>yarn.resourcemanager.webapp.address</name>  
               <value>master:8088</value>  
       </property>  
</configuration>

9.然后把在master的配置拷贝到slave1和slave2节点上

scp -r hadoop-2.7.3 [email protected]
168.188 . 112

:/root/package

三、启动hadoop

1.格式化命令。因为已经配置了hadoop的环境变量,所以不一定非要在hadoop的安装目录输入格式化命令。

[[email protected] sbin]# hdfs namenode -format

2.启动

[[email protected] sbin]# start-all.sh

四、用jps查看结果

启动后分别在master和slave1和slave2下查看进程。

master如下:

Hadoop2.7.3完全分布式集群搭建 slave1如下:

Hadoop2.7.3完全分布式集群搭建

slave2如下:

Hadoop2.7.3完全分布式集群搭建 则表示成功。

五、界面查看验证

输入http://192.168.188.111:8088/

Hadoop2.7.3完全分布式集群搭建

输入http://192.168.188.111:50070/

Hadoop2.7.3完全分布式集群搭建 到此,hadoop-2.7.3完全分布式集群搭建成功。

Hadoop2.7.3完全分布式集群搭建

以上所述就是小编给大家介绍的《Hadoop2.7.3完全分布式集群搭建》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

程序员修炼之道

程序员修炼之道

Andrew Hunt、David Thomas / 马维达 / 电子工业出版社 / 2011-1 / 55.00元

《程序员修炼之道:从小工到专家》内容简介:《程序员修炼之道》由一系列独立的部分组成,涵盖的主题从个人责任、职业发展,知道用于使代码保持灵活、并且易于改编和复用的各种架构技术,利用许多富有娱乐性的奇闻轶事、有思想性的例子及有趣的类比,全面阐释了软件开发的许多不同方面的最佳实践和重大陷阱。无论你是初学者,是有经验的程序员,还是软件项目经理,《程序员修炼之道:从小工到专家》都适合你阅读。一起来看看 《程序员修炼之道》 这本书的介绍吧!

URL 编码/解码
URL 编码/解码

URL 编码/解码

MD5 加密
MD5 加密

MD5 加密工具

SHA 加密
SHA 加密

SHA 加密工具