Pulsar Flink Connector 2.5.0 发布, 支持 Flink 1.11

内容简介：Apache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致...

Apache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展流数据存储特性。

Pulsar Flink Connector 集成了 Apache Pulsar 和 Apache Flink（数据处理引擎），允许 Apache Flink 向 Apache Pulsar 读写数据。Pulsar 支持 Flink 的批流融合计算计算，无需用户再进行多余的操作。

以下是 Pulsar Flink Connector 2.5.0 中添加的一些主要的功能。

Pulsar-Flink 相关
支持 Flink 1.11 和 flink-sql DDL

Flink 1.11 版本升级的幅度较大，一些公共 API 发生了增删，导致 Flink 1.9、Flink 1.11 的 Pulsar 连接器无法做到兼容。本次变更使项目分为两个模块，来支持不同版本的 Flink。BIGO 的陈航、吴展鹏童鞋为此特性付出了很大的努力。

1. 支持 Flink 1.11 版本。

2. 新增 Flink-sql DDL 支持。

3. 更新 topic 分区策略，使消费更均匀。

4. Flink 1.11 兼容 Pulsar schema。

添加 Pulsar deserializationSchema 接口

抽象 PulsarDeserializationSchema 接口，使用户可以自定义解码，获得更多源信息。

Flink Sink 增加 JSON 支持

Flink Sink 实现中，Pulsar Schema 类型支持 JSON 。

PulsarCatalog 变更为基于 GenericInMemoryCatalog 实现

PulsarCatalog 的实现变更为继承 GenericInMemoryCatalog。

Pulsar Schema 相关
增加 Java 8 时间、日期类型到 Pulsar Schema 的原生类型

为 Pulsar Schema 增加 Java 8 常用的 Instant、LocalDate、LocalTime、LocalDateTime 等类型支持。

Pulsar Flink Connector 2.5.0 的发布，对于这个快速发展的项目来说，是一个大的里程碑。在此特别感谢为本次版本发布做出贡献的 hangc0276、wuzhanpeng、sijie、jianyun8023。

如果你有好的想法或想成为项目贡献者，欢迎提交 issue 至https://github.com/streamnative/pulsar-flink/issues，也可以参考我们的贡献指南。

源码地址：

Pulsar Flink Connector: https://github.com/streamnative/pulsar-flink/tree/release-2.5.0

streamnative/pulsar-flink: https://github.com/streamnative/pulsar-flink/issues

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。

码农书籍

第三次浪潮

[美]阿尔文·托夫勒 / 黄明坚 / 中信出版集团 / 2018-7 / 79.00元

《第三次浪潮》是美国著名未来学家阿尔文•托夫勒的代表作之一。1980年出版之际，随即引起全球热评，堪称中国改革开放的指南。本书阐述了由科学技术发展引起的社会各方面的变化与趋势。托夫勒认为，人类迄今为止已经经历了两次浪潮文明的洗礼：第一次是农业革命，人类就此从原始渔猎时代进入以农业为基础的文明社会，并历经千年，直到工业革命的到来。随后，人类社会历时300年摧毁了落后的第一次浪潮文明，并在“二战”后1......一起来看看《第三次浪潮》这本书的介绍吧!

码农工具