内容简介:spark standalone环境搭建+图文
▼点击下方收听音频
spark standalone环境搭建+图文 来自百度VR
机器信息
ip1:172.16.201.121 (外网ip:9.30.251.112 )ip2:172.16.201.122ip3:172.16.201.123
前提:java环境
sudo apt-get install openjdk-8-jdk验证:java -version which java如果机器上有多个 java 版本,修改java版本:/usr/sbin/alternatives --config java
1. 修改主机名及域名解析
1.1 修改主机名
- vi /etc/hostnamemaster
- 同时将ip2和ip3分别修改为slave1和slave2
- hostname生效:reboot
1.2 修改域名hosts
- vi /etc/hostsip1--masterip2--slave1ip3--slave3
2. spark安装和配置
2.1 下载安装
- wget http://d3kbcqa49mib13.cloudfront.net/spark-2.0.2-bin-hadoop2.7.tgz
- tar -zxvf spark-2.0.2-bin-hadoop2.7.tgz
-
index.png
2.2 配置
- cd /root/spark/spark-2.0.2-bin-hadoop2.7/conf
-
vi spark-env.sh
- export SPARK_MASTER_IP=9.30.95.158
- SPARK_MASTER_HOST=9.30.95.158(页面上指定master为ip值)
- export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.111-2.b15.el7_3.x86_64/jre
- export PATH=$PATH:$JAVA_HOME/bin
-
vi slaves
- slave1
- slave2
3. slave配置
- 将master的spark目录拷贝到slave1和slave2
- scp -r spark-2.0.2-bin-hadoop2.7 root@172.16.201.123:/root/spark/
4. 启动集群
- 启动master:./start-master.sh
- 启动slave:./start-slaves.sh
-
访问http://9.30.251.112:8080/查看集群状态
Capture.PNG
-
也可以在后台输入jps命令查询集群状态
Captur123e.PNG
5.提交job
spark提交方式有两种
5.1 standalone cluster模式
--deploy-mode cluster
./bin/spark-submit --master spark://9.30.147.30:6066 --deploy-mode cluster --class org.apache.spark.examples.SparkPi examples/jars/spark-examples_2.11-2.0.2.jar 10
-
后台输出:
Captu1111re.PNG
-
页面输出:
Captur2222e.PNG
Captu333re.PNG
5.2standalone client模式
./bin/spark-submit --master spark://9.30.147.30:7077 --class org.apache.spark.examples.SparkPi examples/jars/spark-examples_2.11-2.0.2.jar 10
遇到的问题
- jps: command not found
- 确认java目录下是否存在jps如果/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.121-0.b13.el7_3.x86_64/jre/bin/目录下没有jps需要安装openjdk-devel:yum install java-1.8.0-openjdk-develalias jps='/usr/lib/jvm/java-1.8.0-openjdk/bin/jps'
- 确认是否设置java环境变量vi ~/.bashrc添加java环境变量:export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.111-2.b15.el7_3.x86_64/jreexport PATH=$PATH:$JAVA_HOME/binsource ~/.bashrc
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网
猜你喜欢:- 搭建个人论坛网站图文教程
- SQL Server搭建网站实例图文详解
- 使用虚拟主机搭建WordPress网站博客图文教程
- Spring cloud系列教程第二篇:支付项目父工程图文搭建
- 自建网盘教程:VPS 完美搭建 Nextcloud 私有云网盘图文教程
- 图文并茂超详细搭建memcache缓存服务器(nginx+php+memcache+mysql)
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
The Haskell School of Expression
Paul Hudak / Cambridge University Press / 2000-01 / USD 95.00
Functional programming is a style of programming that emphasizes the use of functions (in contrast to object-oriented programming, which emphasizes the use of objects). It has become popular in recen......一起来看看 《The Haskell School of Expression》 这本书的介绍吧!