zeppelin 安装移植简述

下载解压 zeppelin

http://zeppelin.apache.org/download.html

包含了所有的interpreter

tar -xvf zeppelin-0.8.0-bin-all.tgz

下载解压 spark

http://spark.apache.org/downloads.html

tar -xvf spark-2.3.2-bin-hadoop2.7.tgz

配置

设置hadoop

spark-2.3.2-bin-hadoop2.7/conf/hive-site.xml

spark-2.3.2-bin-hadoop2.7/conf/hdfs-site.xml

无此两文件，即在本地运行。若集群计算，除配置上述两文件，还需如下配置 IP 地址。

设置集群 IP 及访问权限

/etc/hosts

192.168.x.x bigdatamster

192.168.x.x bigdatanode0

192.168.x.x bigdatanode1

192.168.x.x bigdatanode5

192.168.x.x bigdatanode6

192.168.x.x bigdatanode7

192.168.x.x bigdatanode8

设置 java 和spark路径

~/.bashrc

export JAVA_HOME=/cnn/jdk/jdk1.8.0_171

export SPARK_HOME=/cnn/spark-2.3.2-bin-hadoop2.7

设置 zeppelin 登录账号

zeppelin-0.8.0-bin-all/conf/shiro.ini

user = password, admin

spark_submit 设置

zeppelin-0.8.0-bin-all/conf/zeppelin-env.sh

export SPARK_SUBMIT_OPTIONS="--packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.3.0 --driver-class-path /cnn/jars/ojdbc7.jar:/cnn/jars/bijdbc.jar:/cnn/jars/postgresql-42.2.2.jar"

配置 解释器

在 web 访问的 Interpreter 中配置， 或修改 /cnn/zeppelin-0.8.0-bin-all/conf/interpreter.json

在 pyenv 中启动 zeppelin

export PYENV_ROOT="/cnn/.pyenv"

export PATH="$PYENV_ROOT/bin:$PATH"

eval "$(pyenv init -)"



pyenv activate env365

bin/zeppelin-daemon.sh start

web访问

http://ip:8080/#/

zeppelin 移植

/cnn/zeppelin-0.8.0-bin-all/

/cnn/spark-2.3.2-bin-hadoop2.7/

/cnn/jars/

/cnn/jdk/jdk1.8.0_171/

/cnn/.pyenv

/etc/hosts

~/.bashrc

hosts中 IP 设置跟 hadoop 集群有关，且有访问权限

.bashrc中有 pyenv 的路径设置

本文由safa 创作，采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。

转载、引用前需联系作者，并署名作者且注明文章出处。

本站文章版权归原作者及原出处所有 。内容为作者个人观点， 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台，并不用于任何商业目的，如果有任何问题，请及时联系我们，我们将根据著作权人的要求，立即更正或者删除有关内容。本站拥有对此声明的最终解释权。