spark standalone环境搭建+图文

栏目: 服务器 · 发布时间: 6年前

内容简介:spark standalone环境搭建+图文

▼点击下方收听音频

spark standalone环境搭建+图文 来自百度VR

机器信息

ip1:172.16.201.121 (外网ip:9.30.251.112 )ip2:172.16.201.122ip3:172.16.201.123

前提:java环境

sudo apt-get install openjdk-8-jdk验证:java -version which java如果机器上有多个 java 版本,修改java版本:/usr/sbin/alternatives --config java

1. 修改主机名及域名解析

1.1 修改主机名

  • vi /etc/hostnamemaster
  • 同时将ip2和ip3分别修改为slave1和slave2
  • hostname生效:reboot

1.2 修改域名hosts

  • vi /etc/hostsip1--masterip2--slave1ip3--slave3

2. spark安装和配置

2.1 下载安装

  • wget http://d3kbcqa49mib13.cloudfront.net/spark-2.0.2-bin-hadoop2.7.tgz
  • tar -zxvf spark-2.0.2-bin-hadoop2.7.tgz
  • spark standalone环境搭建+图文

    index.png

2.2 配置

  • cd /root/spark/spark-2.0.2-bin-hadoop2.7/conf
  • vi spark-env.sh

    • export SPARK_MASTER_IP=9.30.95.158
    • SPARK_MASTER_HOST=9.30.95.158(页面上指定master为ip值)
    • export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.111-2.b15.el7_3.x86_64/jre
    • export PATH=$PATH:$JAVA_HOME/bin
  • vi slaves

    • slave1
    • slave2

3. slave配置

  • 将master的spark目录拷贝到slave1和slave2
  • scp -r spark-2.0.2-bin-hadoop2.7 root@172.16.201.123:/root/spark/

4. 启动集群

  • 启动master:./start-master.sh
  • 启动slave:./start-slaves.sh
  • 访问http://9.30.251.112:8080/查看集群状态

    spark standalone环境搭建+图文

    Capture.PNG

  • 也可以在后台输入jps命令查询集群状态

    spark standalone环境搭建+图文

    Captur123e.PNG

5.提交job

spark提交方式有两种

5.1 standalone cluster模式

--deploy-mode cluster

./bin/spark-submit --master spark://9.30.147.30:6066 --deploy-mode cluster --class org.apache.spark.examples.SparkPi examples/jars/spark-examples_2.11-2.0.2.jar 10
  • 后台输出:

    spark standalone环境搭建+图文

    Captu1111re.PNG

  • 页面输出:

    spark standalone环境搭建+图文

    Captur2222e.PNG

    spark standalone环境搭建+图文

    Captu333re.PNG

5.2standalone client模式

./bin/spark-submit --master spark://9.30.147.30:7077 --class org.apache.spark.examples.SparkPi examples/jars/spark-examples_2.11-2.0.2.jar 10

遇到的问题

  1. jps: command not found
    • 确认java目录下是否存在jps如果/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.121-0.b13.el7_3.x86_64/jre/bin/目录下没有jps需要安装openjdk-devel:yum install java-1.8.0-openjdk-develalias jps='/usr/lib/jvm/java-1.8.0-openjdk/bin/jps'
    • 确认是否设置java环境变量vi ~/.bashrc添加java环境变量:export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.111-2.b15.el7_3.x86_64/jreexport PATH=$PATH:$JAVA_HOME/binsource ~/.bashrc

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

技术领导之路(中英文对照)

技术领导之路(中英文对照)

Gerald M.Weinberg / 余晟 / 电子工业出版社 / 2009-12 / 69.00元

《技术领导之路:全面解决问题的途径(中英文对照)》内容简介:搞定技术问题并不简单,但与人打交到也并非易事。作为一个技术专家,你是否在走上管理岗位时遇到了各种不适“症状”?《技术领导之路:解决问题的有机方法》一书将帮助你成为一个成功的解决问题的领导者。书中温伯格从一个反思者的角度阐述了要成为一个成功的解决问题的领导者必备的3个技能——MOI,即激励(Motivation)、组织(Organizati......一起来看看 《技术领导之路(中英文对照)》 这本书的介绍吧!

RGB转16进制工具
RGB转16进制工具

RGB HEX 互转工具

HSV CMYK 转换工具
HSV CMYK 转换工具

HSV CMYK互换工具