spark standalone环境搭建+图文

栏目: 服务器 · 发布时间: 6年前

内容简介:spark standalone环境搭建+图文

▼点击下方收听音频

spark standalone环境搭建+图文 来自百度VR

机器信息

ip1:172.16.201.121 (外网ip:9.30.251.112 )ip2:172.16.201.122ip3:172.16.201.123

前提:java环境

sudo apt-get install openjdk-8-jdk验证:java -version which java如果机器上有多个 java 版本,修改java版本:/usr/sbin/alternatives --config java

1. 修改主机名及域名解析

1.1 修改主机名

  • vi /etc/hostnamemaster
  • 同时将ip2和ip3分别修改为slave1和slave2
  • hostname生效:reboot

1.2 修改域名hosts

  • vi /etc/hostsip1--masterip2--slave1ip3--slave3

2. spark安装和配置

2.1 下载安装

  • wget http://d3kbcqa49mib13.cloudfront.net/spark-2.0.2-bin-hadoop2.7.tgz
  • tar -zxvf spark-2.0.2-bin-hadoop2.7.tgz
  • spark standalone环境搭建+图文

    index.png

2.2 配置

  • cd /root/spark/spark-2.0.2-bin-hadoop2.7/conf
  • vi spark-env.sh

    • export SPARK_MASTER_IP=9.30.95.158
    • SPARK_MASTER_HOST=9.30.95.158(页面上指定master为ip值)
    • export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.111-2.b15.el7_3.x86_64/jre
    • export PATH=$PATH:$JAVA_HOME/bin
  • vi slaves

    • slave1
    • slave2

3. slave配置

  • 将master的spark目录拷贝到slave1和slave2
  • scp -r spark-2.0.2-bin-hadoop2.7 root@172.16.201.123:/root/spark/

4. 启动集群

  • 启动master:./start-master.sh
  • 启动slave:./start-slaves.sh
  • 访问http://9.30.251.112:8080/查看集群状态

    spark standalone环境搭建+图文

    Capture.PNG

  • 也可以在后台输入jps命令查询集群状态

    spark standalone环境搭建+图文

    Captur123e.PNG

5.提交job

spark提交方式有两种

5.1 standalone cluster模式

--deploy-mode cluster

./bin/spark-submit --master spark://9.30.147.30:6066 --deploy-mode cluster --class org.apache.spark.examples.SparkPi examples/jars/spark-examples_2.11-2.0.2.jar 10
  • 后台输出:

    spark standalone环境搭建+图文

    Captu1111re.PNG

  • 页面输出:

    spark standalone环境搭建+图文

    Captur2222e.PNG

    spark standalone环境搭建+图文

    Captu333re.PNG

5.2standalone client模式

./bin/spark-submit --master spark://9.30.147.30:7077 --class org.apache.spark.examples.SparkPi examples/jars/spark-examples_2.11-2.0.2.jar 10

遇到的问题

  1. jps: command not found
    • 确认java目录下是否存在jps如果/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.121-0.b13.el7_3.x86_64/jre/bin/目录下没有jps需要安装openjdk-devel:yum install java-1.8.0-openjdk-develalias jps='/usr/lib/jvm/java-1.8.0-openjdk/bin/jps'
    • 确认是否设置java环境变量vi ~/.bashrc添加java环境变量:export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.111-2.b15.el7_3.x86_64/jreexport PATH=$PATH:$JAVA_HOME/binsource ~/.bashrc

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

The Haskell School of Expression

The Haskell School of Expression

Paul Hudak / Cambridge University Press / 2000-01 / USD 95.00

Functional programming is a style of programming that emphasizes the use of functions (in contrast to object-oriented programming, which emphasizes the use of objects). It has become popular in recen......一起来看看 《The Haskell School of Expression》 这本书的介绍吧!

在线进制转换器
在线进制转换器

各进制数互转换器

SHA 加密
SHA 加密

SHA 加密工具

Markdown 在线编辑器
Markdown 在线编辑器

Markdown 在线编辑器