内容简介:Spark2.0.2+Zeppelin0.6.2 环境搭建入门初探
0.抱怨与其他(此部分与标题没有太多联系):
首先一点想说的是版本问题,为什么标题我会写清楚版本号呢!原因就是版本不对真的很会坑人。
就在写这篇文章的同一天,我还写了另一篇,是
Hadoop2.7.3+Spark2.1.0 完全分布式环境 搭建全过程 http://www.linuxidc.com/Linux/2017-06/144926.htm
坑人的地方在哪里呢,Zeppelin0.6.2不支持Spark2.1.0这个版本
于是我又仔细的查看了官网的教程:
得出的结论是我必须要装老版本的,还好的是支持Spark2.0,于是我又安装了Spark2.0.2
不过呢如果你没有任何的集群环境,上面这篇是值得参考的,只不过你得自己改下版本号,从2.1.0到2.0.2,其他完全一样。
1.下载Zeppelin
wget http://www-eu.apache.org/dist/zeppelin/zeppelin-0.6.2/zeppelin-0.6.2-bin-all.tgz
2.解压并移动到相应的文件夹:
tar -xvf zeppelin-0.6.2-bin-all.tgz mv zepplin-0.6.2-bin-all /opt
3.安装并修改配置文件:
(1)安装
网络安装版需要运行下面的命令:
./bin/install-interpreter.sh --all
而完整版不需要,直接进入到zeppelin的根目录修改配置文件即可。
cd zepplin-0.6.2-bin-all
(2)/opt/zeppelin-0.6.2-bin-all/conf/zeppelin-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_112/ export MASTER="spark://master:7077" export SPARK_HOME=/opt/spark-2.0.2-bin-hadoop2.7/ export HADOOP_HOME=/opt/hadoop-2.7.3/ export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
(3)/opt/zeppelin-0.6.2-bin-all/conf/zeppelin-site.xml
为了防止端口冲突我们将8080改为8099,具体情况要看自己的机子决定:
<property> <name>zeppelin.server.port</name> <value>8099</value> <description>Server port.</description> </property>
4.启动或关闭:
修改之前的启动脚本为:
#!/bin/bash echo -e "\033[31m ========Start The Cluster======== \033[0m" echo -e "\033[31m Starting Hadoop Now !!! \033[0m" /opt/hadoop-2.7.3/sbin/start-all.sh echo -e "\033[31m Starting Spark Now !!! \033[0m" /opt/spark-2.0.2-bin-hadoop2.7/sbin/start-all.sh echo -e "\033[31m Starting Zeppelin Now !!! \033[0m" /opt/zeppelin-0.6.2-bin-all/bin/zeppelin-daemon.sh start echo -e "\033[31m The Result Of The Command \"jps\" : \033[0m" jps echo -e "\033[31m ========END======== \033[0m"
修改之前的关闭脚本为:
bash
echo -e " \033[31m ===== Stoping The Cluster ====== \033[0m "echo -e " \033[31m Stoping Zeppelin Now !!! \033[0m "
stop
echo -e " \033[31m Stoping Spark Now !!! \033[0m "/opt/spark- 2.0 . 2 -bin-hadoop2. 7 /sbin/stop-all. sh
echo -e " \033[31m Stopting Hadoop Now !!! \033[0m "
/opt/hadoop- 2.7 . 3 /sbin/stop-all. sh
echo -e " \033[31m The Result Of The Command \"jps\" : \033[0m "jps
echo -e " \033[31m ======END======== \033[0m"
5.运行官网的例子:
在浏览器里输入地址:
z-ip 指代 zepplin所在机子的ip(xxx.xxx.xxx.xxx)
即:http://z-ip:8099/#/
如下图:
然后我们点Notebook->Zeppelin Tutorial
然后点击save
然后在最上面的部分点击如下图所示的位置:
运行结果在截取两张图给大家:
最后一个要注意的是,这是我自己摸索着搞得,有问题发生是正常的,所以标题加上了初探两个字!
更多 Spark 相关教程见以下内容 :
CentOS 7.0下安装并配置Spark http://www.linuxidc.com/Linux/2015-08/122284.htm
Spark1.0.0部署指南 http://www.linuxidc.com/Linux/2014-07/104304.htm
Spark2.0安装配置文档 http://www.linuxidc.com/Linux/2016-09/135352.htm
Spark 1.5、Hadoop 2.7 集群环境搭建 http://www.linuxidc.com/Linux/2016-09/135067.htm
Spark官方文档 - 中文翻译 http://www.linuxidc.com/Linux/2016-04/130621.htm
CentOS 6.2(64位)下安装Spark0.8.0详细记录 http://www.linuxidc.com/Linux/2014-06/102583.htm
Spark2.0.2 Hadoop2.6.4全分布式配置详解 http://www.linuxidc.com/Linux/2016-11/137367.htm
Ubuntu 14.04 LTS 安装 Spark 1.6.0 (伪分布式) http://www.linuxidc.com/Linux/2016-03/129068.htm
Spark 的详细介绍 : 请点这里
Spark 的下载地址 : 请点这里
本文永久更新链接地址 : http://www.linuxidc.com/Linux/2017-06/144929.htm
以上所述就是小编给大家介绍的《Spark2.0.2+Zeppelin0.6.2 环境搭建入门初探》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!
猜你喜欢:本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
jQuery基础教程 (第4版)
[美] Jonathan Chaffer、[美] Karl Swedberg / 李松峰 / 人民邮电出版社 / 2013-10 / 59.00
本书由jQuery API网站维护者亲自撰写,第一版自2008上市以来,一版再版,累计重印14次,是国内首屈一指的jQuery经典著作! 作为最新升级版,本书涵盖jQuery 1.10.x和jQuery 2.0.x。本书前6章以通俗易懂的方式讲解了jQuery的核心组件,包括jQuery的选择符、事件、动画、DOM操作、Ajax支持等。第7章和第8章介绍了jQuery UI、jQuery M......一起来看看 《jQuery基础教程 (第4版)》 这本书的介绍吧!