大数据分布式平台Hadoop2.7.7 + Spark2.2.2搭建

栏目: 服务器 · 发布时间: 6年前

内容简介：Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。Spark 是一种与 Hadoop 相似的开源集群计

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。

Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。

尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoop 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发，可用来构建大型的、低延迟的数据分析应用程序。

一、准备工作

(1)、3台机器，可以是VM中的三台虚拟机，我这里是三台Centos6.7,分别为：

192.168.174.141 hd1 master
192.168.174.142 hd2 slave1
192.168.174.143 hd3 slave2

(2)、 java 环境： jdk1.8.0_73

(3)、新建一个普通用户

useradd hadoop
passwd hadoop
New password: 
Retype new password:

授权 root 权限,在root下面加一条hadoop的hadoop ALL=(ALL) ALL
#修改权限
chmod 777 /etc/sudoers
vim /etc/sudoers
## Allow root to run any commands anywhere 
root    ALL=(ALL)       ALL
hadoop  ALL=(ALL)       ALL
#恢复权限
chmod 440 /etc/sudoers

(4)、配置ssh免密登录

#进入到我的home目录,
su - hadoop
ssh-keygen -t rsa （连续按四个回车）
#执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
#将公钥拷贝到要免密登录的机器上
ssh-copy-id hd2
ssh-copy-id hd3

二、安装hadoop集群

#在h1,h2,h3机器上新建apps目录用于存放hadoop和spark安装包
mkdir -p /home/hadoop/apps/hadoop
cd /home/hadoop/apps/hadoop
#在hd1机器上 下载hadoop2.7.7（hd2,hd3上等在hd1把hadoop的相关配置改完后scp发送过去）
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
tar -zxvf hadoop-2.7.7.tar.gz
#配置环境变量
vim /etc/profile
#添加HADOOP_HOME
export HADOOP_HOME=/home/hadoop/apps/hadoop/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
#刷新环境变量
source /etc/profile
#查看hadoop版本
hadoop version

#配置Hadoop的JAVA_HOME
cd /home/hadoop/apps/hadoop/hadoop-2.7.7/etc/hadoop
vim hadoop-env.sh
#大概在25行，添加
export JAVA_HOME=/opt/soft/java/jdk1.8.0_73
#修改配置文件
1、修改core-site.xml
vim core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hd1:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/hadoop/apps/hadoop/hadoop-2.7.7/tmp</value>
    </property>
</configuration>

2、修改hdfs-site.xml
vim hdfs-site.xml

<configuration>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hd1:50090</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/hadoop/apps/hadoop/hadoop-2.7.7/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/hadoop/apps/hadoop/hadoop-2.7.7/tmp/dfs/data</value>
    </property>
</configuration>

3、修改mapred-site.xml
#目录下没有这个文件，复制一份出来
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

<configuration>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hd1:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hd1:19888</value>
    </property>
</configuration>

4、修改yarn-site.xml
vim yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hd1</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
     </property>
     <property>
        <name>yarn.log.server.url</name>
        <value>http://hd1:19888/jobhistory/logs</value>
     </property>
     <property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>
</configuration>

5、修改slaves文件内容,该文件指定哪些服务器节点是datanode节点,删除里面的localhost
cd /home/hadoop/apps/hadoop/hadoop-2.7.7/etc/hadoop
vim slaves
hd1
hd2
hd3

#以上所有配置文件已经配好的，将hd1上配置好的hadoop-2.7.7目录复制到hd2,hd3相同目录
cd /home/hadoop/apps/hadoop
scp -r hadoop-2.7.7 hadoop@hd2:/home/hadoop/apps/hadoop/
scp -r hadoop-2.7.7 hadoop@hd3:/home/hadoop/apps/hadoop/

# 格式化集群操作
#格式化namenode和datanode并启动，（在hd1(master)上执行就可以了 不需要在(hd2,hd3)slave上执行）
hdfs namenode -format

#关闭所有机器防火墙
service iptables stop

#启动hadoop集群
#依次执行两个命令
#启动hdfs
start-dfs.sh
#再启动
start-yarn.sh
#直接用一个命令也可以
start_all.sh

#验证是否启动成功，缺少以下任一进程都表示出错
#在hd1,hd2,hd3分别使用jps命令，可以看到
#hd1中显示
56310 NameNode
56423 DataNode
56809 ResourceManager
56921 NodeManager
56634 SecondaryNameNode
# hd2中显示
16455 NodeManager
16348 DataNode
#hd3显示
13716 DataNode
13823 NodeManager

#查看集群web页面
hdfs页面：http://hd1:50070/ 或者http://192.168.174.141:50070/

大数据分布式平台Hadoop2.7.7 + Spark2.2.2搭建 

yarn页面:http://hd1:8088/ 或者http://192.168.174.141:8088/

大数据分布式平台Hadoop2.7.7 + Spark2.2.2搭建 

#停止集群命令：stop_dfs.sh和stop_yarn.sh或者stop_all.sh

以上Hadoop的集群搭建过程已大功告成！

三、安装搭建Spark集群

依赖环境：Scala
Spark是使用Scala编写的，用Scala编写Spark任务可以像操作本地集合对象一样操作分布式数据集RDD
安装Scalla和安装jdk如出一辙的操作，我这里给出scala的下载地址：https://downloads.lightbend.com/scala/2.11.7/scala-2.11.7.tgz 

#安装完scala可以查看版本
scala -version

#这里重点介绍Spark的安装，相比于hadoop的安装要简单一些，而且步骤类似，话不多说，开始！
#在hd1机器用hadoop用户先创建spark的目录
cd /home/hadoop/apps
mkdir spark
#下载spark安装包
wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.2.2/spark-2.2.2-bin-hadoop2.7.tgz

#解压
tar -zxvf /spark-2.2.2-bin-hadoop2.7.tgz

#重命名
mv spark-2.2.2-bin-hadoop2.7 spark-2.2.2

#修改环境变量
vim /etc/profile
export SPARK_HOME=/home/hadoop/apps/spark/spark-2.2.2
export PATH=$PATH:$SPARK_HOME/bin

#重新加载环境
source /etc/profile

#修改配置文件
cd /home/hadoop/apps/spark/spark-2.2.2/conf
mv spark-env.sh.template spark-env.sh
vim spark-env.sh
#这里介绍两个spark的部署模式，一种是standalone模式，一种是spark on yarn模式，任选一种配置即可
#1、standalone模式
export JAVA_HOME=/opt/soft/java/jdk1.8.0_73
#Spark主节点的IP
export SPARK_MASTER_IP=hd1
#Spark主节点的端口号
export SPARK_MASTER_PORT=7077

#2、spark on yarn配置
export JAVA_HOME=/opt/soft/java/jdk1.8.0_73
export HADOOP_CONF_DIR=/home/hadoop/apps/hadoop/hadoop-2.7.7/etc/hadoop/

#修改slaves文件
cd /home/hadoop/apps/spark/spark-2.2.2/conf
vim slaves
hd2
hd3

#复制hd1中的spark到hd2和hd3机器中
cd /home/hadoop/apps/spark
scp -r spark-2.2.2/ hadoop@hd2:/home/hadoop/apps/spark
scp -r spark-2.2.2/ hadoop@hd3:/home/hadoop/apps/spark

#配置环境变量：分别修改hd2,hd3环境变量
vim /etc/profile
export SPARK_HOME=/home/hadoop/apps/spark/spark-2.2.2
export PATH=$PATH:$SPARK_HOME/bin
source  /etc/profile

#至此，Spark集群配置完毕，启动Spark集群。
#启动spark集群前要先启动hadoop集群。
#Spark集群启动
cd /home/hadoop/apps/spark/spark-2.2.2/sbin
./start-all.sh

#测试Spark集群是否正常启动
#在hd1,hd2,hd3分别执行jps,
在hd1中显示:Master
63124 Jps
56310 NameNode
56423 DataNode
63064 Master
56809 ResourceManager
56921 NodeManager
56634 SecondaryNameNode

在hd2、hd3中显示：Worker
18148 Jps
16455 NodeManager
16348 DataNode
18079 Worker

#测试spark-shell和页面
cd /home/hadoop/apps/spark/spark-2.2.2/bin
./spark-shell

#访问页面地址：
http://hd1:8080/    或者：http://192.168.174.141:8080/

大数据分布式平台Hadoop2.7.7 + Spark2.2.2搭建 

http://hd1:4040/jobs/     或者 http://192.168.174.141:4040/jobs/

大数据分布式平台Hadoop2.7.7 + Spark2.2.2搭建

四、搭建完毕！


以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。

码农书籍
Docker——容器与容器云

Docker——容器与容器云

浙江大学SEL实验室 / 人民邮电出版社 / 2015-9-1 / 89.00元

本书从实践者的角度，在讲解Docker高级实践技巧的同时，深入到源代码层次，为读者梳理出Docker容器技术和基于Docker的容器云技术（如Kubernetes）的实现方法和设计思路，帮助读者理解如何在实际场景中利用Docker解决问题并启发新的思考。全书包括两部分，第一部分深入解读Docker容器技术，包括Docker入门、架构总览、Docker容器核心原理解读，以及Docker高级实践技巧；......一起来看看 《Docker——容器与容器云》 这本书的介绍吧!

码农工具
CSS 压缩/解压工具
CSS 压缩/解压工具

在线压缩/解压 CSS 代码

图片转BASE64编码
图片转BASE64编码

在线图片转Base64编码工具

RGB CMYK 转换工具
RGB CMYK 转换工具

RGB CMYK 互转工具

  • New
  • 文章
  • 话题
  • 教程
    • 关注 码农网 公众号
    版权所有，保留一切权利！© 2018-2024 码农网 粤ICP备17054400号-3