内容简介：Hadoop2.7.3完全分布式集群搭建
集群如下：
192.168.188.111 master
192.168.188.112 slave1
192.168.188.113 slave2
一、环境配置
1.修改hosts和hostname
以master为例：
修改hosts
[[email protected] ~]# vim /etc/hosts
192.168.188.111 master
192.168.188.112 slave1
192.168.188.113 slave2
修改hostname
[[email protected] ~]# vim /etc/hostname
同样地，在slave1和slave2做相同的hostname操作，分别命名为slave1和slave2.然后分别把slave1和slave2的hosts文件更改为和master一样。
2.配免密登录
次文章重点不在配免密登录，所有略，可以看其他博客。
3.配置环境变量
[[email protected] ~]# vim /etc/profile
#java export JAVA_HOME=/root/package/jdk1.8.0_121 export PATH=$PATH:$JAVA_HOME/bin #spark export SPARK_HOME=/root/package/spark-2.1.0-bin-hadoop2.7 export PATH=$PATH:$SPARK_HOME/bin #ANACONDA export ANACONDA=/root/anaconda2 export PATH=$PATH:$ANACONDA/bin #HADOOP export HADOOP_HOME=/root/package/hadoop-2.7.3 export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin export HADOOP_INSTALL=$HADOOP_HOME
输入 source /etc/profile 使配置文件生效。
[[email protected] ~]# source /etc/profile
查看配置是否成功：
输入 java -version
出现以上信息则 Java 配置成功。
二、hadoop配置
1.master配置
首先，安装hadoop-2.7.3，我是直接在要安装的目录下解压，所有在tar -zxvf 后边 没有输入其他的路径。
[[email protected] package]# tar -zxvf hadoop-2.7.3
2.hadoop-env.sh配置
hadoop-2.7.3 的配置文件都在 /root/package/hadoop-2.7.3/etc/hadoop 下
/root/package/hadoop-2.7.3/etc/hadoop
[[email protected] hadoop]# vim hadoop-env.sh
修改JAVA_HOME值
# The java implementation to use. export JAVA_HOME=/root/package/jdk1.8.0_121
3.yarn-env.sh配置
[[email protected] hadoop]# vim yarn-env.sh
# some Java parameters export JAVA_HOME=/root/package/jdk1.8.0_121
4.修改slaves
[[email protected] hadoop]# vim slaves
将内容修改为
slave1 slave2
5.core-site.xml配置
<configuration> <!-- 指定hdfs的nameservice为ns1 --> <property> <name>fs.defaultFS</name> <value>hdfs://10.10.11.181:9000</value> </property> <!-- Size of read/write buffer used in SequenceFiles. --> <property> <name>io.file.buffer.size</name> <value>131072</value> </property> <!-- 指定hadoop临时目录,自行创建 --> <property> <name>hadoop.tmp.dir</name> <value>/hadoop/tmp</value> </property> </configuration>
6.hdfs-site.xml配置
<configuration> <property> <name>dfs.namenode.secondary.http-address</name> <value>10.10.11.181:50090</value> </property> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/root/hadoop/hdfs/namenode/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/root/hadoop/hdfs/datanode/dfs/data</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> </configuration>
7.配置mapred-site.xml
先复制再修改
[[email protected] hadoop]# cp mapred-site.xml.template mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>192.168.188.111:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>192.168.188.111:19888</value> </property> </configuration>
8.yarn-site.xml配置
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>master:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>master:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:8088</value> </property> </configuration>
9.然后把在master的配置拷贝到slave1和slave2节点上
scp -r hadoop-2.7.3 [email protected]168.188 . 112
:/root/package
三、启动hadoop
1.格式化命令。因为已经配置了hadoop的环境变量，所以不一定非要在hadoop的安装目录输入格式化命令。
[[email protected] sbin]# hdfs namenode -format
2.启动
[[email protected] sbin]# start-all.sh
四、用jps查看结果
启动后分别在master和slave1和slave2下查看进程。
master如下：
slave1如下：
slave2如下：
则表示成功。
五、界面查看验证
输入http://192.168.188.111:8088/
输入http://192.168.188.111:50070/
到此，hadoop-2.7.3完全分布式集群搭建成功。
以上所述就是小编给大家介绍的《Hadoop2.7.3完全分布式集群搭建》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！
猜你喜欢:
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
哥德尔、艾舍尔、巴赫
[美] 侯世达 / 严勇、刘皓明、莫大伟 / 商务印书馆 / 1997-5 / 88.00元
集异璧－GEB，是数学家哥德尔、版画家艾舍尔、音乐家巴赫三个名字的前缀。《哥德尔、艾舍尔、巴赫书：集异璧之大成》是在英语世界中有极高评价的科普著作，曾获得普利策文学奖。它通过对哥德尔的数理逻辑，艾舍尔的版画和巴赫的音乐三者的综合阐述，引人入胜地介绍了数理逻辑学、可计算理论、人工智能学、语言学、遗传学、音乐、绘画的理论等方面，构思精巧、含义深刻、视野广阔、富于哲学韵味。 中译本前后费时十余年，......一起来看看 《哥德尔、艾舍尔、巴赫》 这本书的介绍吧!
