Zeppelin原理 | Get started with Flink on Zeppelin (1)

栏目: IT技术 · 发布时间: 4年前

内容简介:Flink在国内阿里巴巴的带领下发展的如火如荼。一直有人在Zeppelin社区问能否在Zeppelin里使用Flink。现在终于有了进展了,从Zeppelin 0.9开始将正式支持Flink 1.10。Flink是一个批流统一的计算引擎,本文将从第一个wordcount的例子为起点来讲述如何在Zeppelin中使用Flink。在Zeppelin中使用Flink,需要下载最新的Zeppelin 0.9.0 以及 Flink 1.10 (本文发布时,Zeppelin 0.9.0 和 Flink 1.10都还没正

Flink在国内阿里巴巴的带领下发展的如火如荼。一直有人在Zeppelin社区问能否在Zeppelin里使用Flink。现在终于有了进展了,从Zeppelin 0.9开始将正式支持Flink 1.10。Flink是一个批流统一的计算引擎,本文将从第一个wordcount的例子为起点来讲述如何在Zeppelin中使用Flink。

准备工作

在Zeppelin中使用Flink,需要下载最新的Zeppelin 0.9.0 以及 Flink 1.10 (本文发布时,Zeppelin 0.9.0 和 Flink 1.10都还没正式发布)。想要尝鲜的用户可以加入下面的钉钉群下载预览版。

Zeppelin原理 | Get started with Flink on Zeppelin (1)

除了下载Flink的标准release,如果你要使用Flink on Yarn模式或者连接Hive,那么你还需要下载其他Flink组件。

Flink on Yarn 需要的组件:

  • flink-hadoop-compatibility https://repo1.maven.org/maven2/org/apache/flink/flink-hadoop-compatibility_2.11/1.9.1/flink-hadoop-compatibility_2.11-1.9.1.jar

  • flink-shaded-hadoop-2-uber  https://repo.maven.apache.org/maven2/org/apache/flink/flink-shaded-hadoop-2-uber/2.7.5-7.0/flink-shaded-hadoop-2-uber-2.7.5-7.0.jar

连接Hive需要的组件:

  • flink-connector-hive 

  • hive-exec

使用pyflink需要的组件

  • flink-python

这是我的lib目录下的所有jar ,也可以参考Flink官方文档:

https://ci.apache.org/projects/flink/flink-docs-master/dev/table/hive/scala_shell_hive.html

Zeppelin原理 | Get started with Flink on Zeppelin (1)

配置Zeppelin + Flink

接下来是配置Zeppelin和Flink。首先解压缩Zeppelin包之后,cd到Zeppelin目录运行下面运行这个命令启动Zeppelin(注明:请使用Mac OS 或者 Linux 系统,不要使用Windows)

bin/zeppelin-daemon.sh start

然后在浏览器里打开 http://localhost:8080 就可以看到 Zeppelin页面了。

Zeppelin原理 | Get started with Flink on Zeppelin (1)

接下来就需要配置Flink Interpreter。在Zeppelin中可以使用3种不同的Flink集群模式

  • Local

  • Remote

  • Yarn

下面将分别说明如何配置Flink Interpreter来运行这3种模式。

  • Local 模式

Flink的Local模式会在本地创建一个MiniCluster,适合做POC或者小数据量的试验。必须配置FLINK_HOME 和 flink.execution.mode

Zeppelin原理 | Get started with Flink on Zeppelin (1)

  • Remote 模式

Flink的Remote模式会连接一个已经创建好的Flink集群,一般是Flink Standalone集群。除了配置FLINK_HOME和flink.execution.mode外,还需要配置flink.execution.remote.host和flink.execution.remote.port来指定JobManager的地址。

Zeppelin原理 | Get started with Flink on Zeppelin (1)

  • YARN 模式

Flink的Yarn模式会在Yarn集群中创建Flink Cluster。除了配置FLINK_HOME 和 flink.execution.mode还需要配置HADOOP_CONF_DIR,并且要确保Zeppelin这台机器可以访问你的hadoop集群。

Zeppelin原理 | Get started with Flink on Zeppelin (1)

验证Flink Interpreter

完成了上面的配置之后,可以运行下面的wordcount代码来验证Flink Interpreter是否能正常工作。

Zeppelin原理 | Get started with Flink on Zeppelin (1)

如上图所示,你可以看到WordCount的输出,以及右上角的Flink JOB链接,点击这个链接你可以看到Flink Web UI中关于这个WordCount Job的详细信息。

这就是如何在Zeppelin运行Flink WordCount的过程,如果有碰到任何问题,请加入下面这个钉钉群讨论。后续我们会有更多Tutorial的文章,敬请期待。

Zeppelin原理 | Get started with Flink on Zeppelin (1)


以上所述就是小编给大家介绍的《Zeppelin原理 | Get started with Flink on Zeppelin (1)》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

大数据大创新:阿里巴巴云上数据中台之道

大数据大创新:阿里巴巴云上数据中台之道

邓中华 / 电子工业出版社 / 2018-11 / 99

阿里巴巴云上数据中台正服务着阿里生态中的数十个业务板块、百余家公司、千万级客户,在帮助决策层看清甚至决定业态走向的同时,在上万个业务场景中应用并催生创新。 《大数据大创新:阿里巴巴云上数据中台之道》基于作者在阿里巴巴的十年大数据从业经历,精彩演绎云上数据中台之道。《大数据大创新:阿里巴巴云上数据中台之道》基于大数据探索的大趋势,讲述阿里巴巴云上数据中台顶层设计,再以实际案例详述阿里巴巴云上数......一起来看看 《大数据大创新:阿里巴巴云上数据中台之道》 这本书的介绍吧!

随机密码生成器
随机密码生成器

多种字符组合密码

XML 在线格式化
XML 在线格式化

在线 XML 格式化压缩工具

html转js在线工具
html转js在线工具

html转js在线工具