内容简介:CentOS 7 下 Spark1.6.1+Hadoop2.6 分布式集群环境搭建
摘要
在上一篇文章《CentOS 7 下Hadoop 2.6.4 分布式集群环境搭建》 http://www.linuxidc.com/Linux/2017-06/144932.htm
已经详细写了Hadoop 2.6.4 配置过程,下面详细介绍 Spark 1.6.1的安装过程。
Scala 安装
下载 ,解压
下载 Scala-2.11.8.tgz, 解压到 /root/workspace/software/scala-2.10.4t 目录下
修改环境变量文件 /etc/profile
添加以下内容
export SCALA_HOME=/root/workspace/software/scala-2.10.4 export PATH=$PATH:$SCALA_HOME/bin
source 使之生效
source /etc/profile
验证 Scala 安装
slaver1-slaver4 部署 scala
slaver1 - slaver4 参照 master 机器安装步骤进行安装。
Spark 安装
下载,解压
下载 spark-1.6.1-bin-hadoop2.6.tgz,解压到/root/workspace/software/spark1.6.1_hadoop2.6目录下。
修改环境变量文件 /etc/profile, 添加以下内容。
export SPARK_HOME=/root/workspace/software/spark1.6.1_hadoop2.6/ export PATH=$PATH:XXX其他软件的环境变量:$SPARK_HOME/bin# 在最后添加:$SPARK_HOME/bin
source 使之生效
source /etc/profile
Spark 配置
spark-env.sh
进入 Spark 安装目录下的 /root/workspace/software/spark1.6.1_hadoop2.6/conf 目录, 拷贝 spark-env.sh.template 到 spark-env.sh。
cp spark-env.sh.template spark-env.sh
编辑 spark-env.sh,在其中添加以下配置信息:
export SCALA_HOME=/root/workspace/software/scala-2.10.4 export JAVA_HOME=/usr/java/jdk1.7.0_80 export HADOOP_HOME=/root/workspace/software/hadoop-2.6.4 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export SPARK_MASTER_IP=192.168.122.1 export SPARK_LOCAL_DIRS=/root/workspace/software/spark1.6.1_hadoop2.6 export SPARK_WORKER_MEMORY=20g
JAVA_HOME 指定 Java 安装目录;
SCALA_HOME 指定 Scala 安装目录;
SPARK_MASTER_IP 指定 Spark 集群 Master 节点的 IP 地址;
SPARK_WORKER_MEMORY 指定的是 Worker 节点能够分配给 Executors 的最大内存大小;
HADOOP_CONF_DIR 指定 hadoop 集群配置文件目录。
SPARK_WORKER_MEMORY 我这边的机器内存32g,我设置内存为20g,更加自己的情况修改。
slaves
将 slaves.template 拷贝到 slaves, 编辑其内容为:
master slaver1 slaver2 slaver3 slaver4
即 master 既是 Master 节点又是 Worker 节点
slaver1- slaver4 部署
slaver1 -slaver4 参照 master 机器安装步骤进行安装。
启动 Spark 集群
启动 Hadoop 集群
参考 CentOS 7 下 Hadoop 2.6.4 分布式集群环境搭建 http://www.linuxidc.com/Linux/2017-06/144932.htm
启动 Spark 集群
启动 Master 节点
运行 /root/workspace/software/spark1.6.1_hadoop2.6/sbin 下面, start-master.sh
可以看到 master 上多了一个新进程 Master。
启动所有 Worker 节点
运行 运行 /root/workspace/software/spark1.6.1_hadoop2.6/sbin 下面,start-slaves.sh
在slaver1-slaver4查看进程
可以发现都启动了一个 Worker 进程
浏览器查看 Spark 集群信息
访问:http://masterIP:8080, 如下图:
使用 spark-shell
运行 spark-shell,可以进入 Spark 的 shell 控制台,如下:
浏览器访问 SparkUI
可以从 SparkUI 上查看一些 如环境变量、Job、Executor等信息。
至此,整个 Spark 分布式集群的搭建就到这里结束。
停止 Spark 集群
停止 Master 节点
运行/root/workspace/software/spark1.6.1_hadoop2.6/sbin,下面的stop-master.sh 来停止 Master 节点。
jps查看java进程
可以发现 Master 进程已经停止。
停止 Master 节点
运行/root/workspace/software/spark1.6.1_hadoop2.6/sbin,下面的stop-slaves.sh (注意是stop-slavers 有s) 可以停止所有的 Worker 节点
使用 jps 命令查看 master上的进程信息:
worker 关闭了
使用 jps 命令查看 slaver1上的进程信息:
可以看到, Worker 进程均已停止,最后再停止 Hadoop 集群.
搞定啦
后面边学习边理解里面设置的东西。
Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程 http://www.linuxidc.com/Linux/2017-06/144926.htm
Hadoop2.3-HA高可用集群环境搭建 http://www.linuxidc.com/Linux/2017-03/142155.htm
Hadoop项目之基于CentOS7的Cloudera 5.10.1(CDH)的安装部署 http://www.linuxidc.com/Linux/2017-04/143095.htm
Hadoop2.7.2集群搭建详解(高可用) http://www.linuxidc.com/Linux/2017-03/142052.htm
使用Ambari来部署Hadoop集群(搭建内网HDP源) http://www.linuxidc.com/Linux/2017-03/142136.htm
Ubuntu 14.04下Hadoop集群安装 http://www.linuxidc.com/Linux/2017-02/140783.htm
CentOS 6.9下Hadoop伪分布式环境搭建 http://www.linuxidc.com/Linux/2017-06/144884.htm
更多Hadoop相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13
本文永久更新链接地址 : http://www.linuxidc.com/Linux/2017-06/144933.htm
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网
猜你喜欢:本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
网站入侵与脚本攻防修炼
逍遥 / 2008-9 / 59.00元
《网站入侵与脚本攻防修炼》从“攻”、“防”两个角度,通过现实中的入侵实例,并结合原理性的分析,图文并茂地展现网站入侵与防御的全过程。全书共分8章,系统地介绍网站入侵的全部过程,以及相应的防御措施和方法。其中包括网站入侵的常见手法、流行网站脚本入侵手法揭密与防范、远程攻击入侵网站与防范、网站源代码安全分析与测试等。《网站入侵与脚本攻防修炼》尤其对网站脚本漏洞原理进行细致的分析,帮助网站管理员、安全人......一起来看看 《网站入侵与脚本攻防修炼》 这本书的介绍吧!