内容简介:CentOS 7 下 Hadoop 2.6.4 分布式集群环境搭建
摘要
在实际集群上搭建Hadoop 2.6.4 分布式集群环境。
集群准备
有五台机器,通过已经更改机器名称为master,slaver1,slaver2,slaver3,slaver4,并设置了面密码ssh登录。可以参考这里 http://www.linuxidc.com/Linux/2016-02/128149.htm
机器名称 | ip |
---|---|
master | 192.168.122.1 |
slaver1 | 192.168.122.2 |
slaver2 | 192.168.122.3 |
slaver3 | 192.168.122.4 |
slaver4 | 192.168.122.5 |
安装JDK
CentOS7 默认是openJDK
卸载CentOS 7 下的openJDK,安装Sun JDK1.7
查看openJDK安装路径
rpm -qa | grep java
卸载openJDK
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.85-2.6.1.2.el7_1.x86_64 rpm -e --nodeps java-1.8.0-openjdk-devel-1.8.0.60-2.b27.el7_1.x86_64 rpm -e --nodeps java-1.6.0-openjdk-1.6.0.36-1.13.8.1.el7_1.x86_64 rpm -e --nodeps java-1.6.0-openjdk-devel-1.6.0.36-1.13.8.1.el7_1.x86_64
安装Sun JDK1.7
从官网下载 jdk-7u80-linux-x64.rpm
,上传到 master
安装 Sun JDK1.7
rpm -ivh jdk-7u80-linux-x64.rpm
修改环境变量
在 /etc/profile
里添加
export JAVA_HOME=/usr/java/jdk1.7.0_80 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin
source 生效
检验安装
安装 Hadoop 2.6.4
下载 ,解压
从官网下载 hadoop 2.6.4 , 并解压在 master 上
解压路径自己选择,我这里是解压在
/root/workspace/software/hadoop-2.6.4
Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程 http://www.linuxidc.com/Linux/2017-06/144926.htm
Hadoop2.3-HA高可用集群环境搭建 http://www.linuxidc.com/Linux/2017-03/142155.htm
Hadoop项目之基于CentOS7的Cloudera 5.10.1(CDH)的安装部署 http://www.linuxidc.com/Linux/2017-04/143095.htm
Hadoop2.7.2集群搭建详解(高可用) http://www.linuxidc.com/Linux/2017-03/142052.htm
使用Ambari来部署Hadoop集群(搭建内网HDP源) http://www.linuxidc.com/Linux/2017-03/142136.htm
Ubuntu 14.04下Hadoop集群安装 http://www.linuxidc.com/Linux/2017-02/140783.htm
CentOS 6.9下Hadoop伪分布式环境搭建 http://www.linuxidc.com/Linux/2017-06/144884.htm
添加环境变量
在 /etc/profile
里添加
export HADOOP_HOME=/root/workspace/software/hadoop-2.6.4/ export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
修改 Hadoop 配置文件
hadoop-env.sh
在 hadoop 解压路径下面,/etc/hadoop/hadoop-env.sh 增加下面两行
export JAVA_HOME=/usr/java/jdk1.7.0_80 export HADOOP_PREFIX=/root/workspace/software/hadoop-2.6.4
core-site.xml
在 hadoop 解压路径下面,/etc/hadoop/core-site.xml增加下面内容
<property> <name>fs.defaultFS</name> <value>hdfs://master:9000/</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/root/workspace/software/hadoop-2.6.4/tmp</value> </property> </configuration>
hdfs-site.xml
在 hadoop 解压路径下面,/etc/hadoop/hdfs-site.xml 增加下面内容
<configuration> <property> <name>dfs.replication</name> <value>3</value> </property> </configuration>
这里设置成3,表示数据有3个副本。
mapred-site.xml
在 hadoop 解压路径下面,/etc/hadoop/mapred-site.xml 增加下面内容
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
yarn-env.sh
在 hadoop 解压路径下面,/etc/hadoop/yarn-env.sh 增加下面,增加 Java-HOME 配置
export JAVA_HOME=/usr/java/jdk1.7.0_80
yarn-site.xml
在 hadoop 解压路径下面,/etc/hadoop/yarn-site.xml 增加下面内容
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property> <property> <description>The address of the applications manager interface in the RM.</description> <name>Yarn.resourcemanager.address</name> <value>master:18040</value> </property> <property> <description>The address of the scheduler interface.</description> <name>Yarn.resourcemanager.scheduler.address</name> <value>master:18030</value> </property> <property> <description>The address of the RM web application.</description> <name>Yarn.resourcemanager.webapp.address</name> <value>master:18088</value> </property> <property> <description>The address of the resource tracker interface.</description> <name>Yarn.resourcemanager.resource-tracker.address</name> <value>master:8025</value> </property> </configuration>
这里添加的一些端口号,方便从远程通过浏览器查看集群情况,推荐按照这样添加。
slaves
在 hadoop 解压路径下面,/etc/hadoop/slaves 增加下面内容
master slaver1 slaver2 slaver3 slaver4
更多详情见请继续阅读下一页的精彩内容 : http://www.linuxidc.com/Linux/2017-06/144932p2.htm
以上所述就是小编给大家介绍的《CentOS 7 下 Hadoop 2.6.4 分布式集群环境搭建》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!
猜你喜欢:本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
UML用户指南
[美] Grady Booch、James Rumbaugh、Ivar Jacobson / 邵维忠、麻志毅、马浩海、刘辉 / 人民邮电出版社 / 2006-6 / 49.00元
《UML用户指南》(第2版)是UML方面最权威的一本著作,三位作者是面向对象方法最早的倡导者,是UML的创始人。本版涵盖了UML 2.0。书中为具体的UML特征提供了参考,描述了一个使用UML进行开发的过程,旨在让读者掌握UML的术语、规则和语言特点,以及如何有效地使用这种语言,知道如何应用UML去解决一些常见的建模问题。《UML用户指南》(第2版)由7个部分组成,而且每章都描述了一个特定UML特......一起来看看 《UML用户指南》 这本书的介绍吧!