内容简介:Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致...
Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展流数据存储特性。
Pulsar Flink Connector 集成了 Apache Pulsar 和 Apache Flink(数据处理引擎),允许 Apache Flink 向 Apache Pulsar 读写数据。Pulsar 支持 Flink 的批流融合计算计算,无需用户再进行多余的操作。
以下是 Pulsar Flink Connector 2.5.0 中添加的一些主要的功能。
-
Pulsar-Flink 相关
-
支持 Flink 1.11 和 flink-sql DDL
Flink 1.11 版本升级的幅度较大,一些公共 API 发生了增删,导致 Flink 1.9、Flink 1.11 的 Pulsar 连接器无法做到兼容。本次变更使项目分为两个模块,来支持不同版本的 Flink。BIGO 的陈航、吴展鹏童鞋为此特性付出了很大的努力。
1. 支持 Flink 1.11 版本。
2. 新增 Flink-sql DDL 支持。
3. 更新 topic 分区策略,使消费更均匀。
4. Flink 1.11 兼容 Pulsar schema。
-
添加 Pulsar deserializationSchema 接口
抽象 PulsarDeserializationSchema 接口,使用户可以自定义解码,获得更多源信息。
-
Flink Sink 增加 JSON 支持
Flink Sink 实现中,Pulsar Schema 类型支持 JSON 。
-
PulsarCatalog 变更为基于 GenericInMemoryCatalog 实现
PulsarCatalog 的实现变更为继承 GenericInMemoryCatalog。
-
Pulsar Schema 相关
-
增加 Java 8 时间、日期类型到 Pulsar Schema 的原生类型
为 Pulsar Schema 增加 Java 8 常用的 Instant、LocalDate、LocalTime、LocalDateTime 等类型支持。
Pulsar Flink Connector 2.5.0 的发布,对于这个快速发展的项目来说,是一个大的里程碑。在此特别感谢为本次版本发布做出贡献的 hangc0276、wuzhanpeng、sijie、jianyun8023。
如果你有好的想法或想成为项目贡献者,欢迎提交 issue 至https://github.com/streamnative/pulsar-flink/issues,也可以参考我们的贡献指南。
源码地址:
Pulsar Flink Connector: https://github.com/streamnative/pulsar-flink/tree/release-2.5.0
streamnative/pulsar-flink: https://github.com/streamnative/pulsar-flink/issues
以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网
猜你喜欢:- cURL 7.70.0 发布,原生支持 JSON、实验性支持 MQTT
- hi-nginx-1.5.2 发布,优化 cpp 支持,添加 groovy 支持
- hi-nginx-1.5.2 发布,优化 cpp 支持,添加 groovy 支持
- Spring Tools 4.3.0 发布,支持 Eclipse Theia 并弃用 Atom 支持
- Spring Tools 4.3.0 发布,支持 Eclipse Theia 并弃用 Atom 支持
- Tiki 20 发布,支持 markdown 语法
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
C语言程序开发范例宝典
2010-1 / 59.00元
《C语言程序开发范例宝典》全面介绍了应用C语言进行开发的各种技术和技巧,全书共分12章,内容包括基础知识、指针、数据结构、算法、数学应用、文件操作、库函数应用、图形图像、系统调用、加解密与安全性、游戏、综合应用等。全书共提供300个实例,每个实例都突出了其实用性。 《C语言程序开发范例宝典》既可作为C程序的初学者学习用书,也可作为程序开发人员、相关培训机构老师和学生的参考用书。一起来看看 《C语言程序开发范例宝典》 这本书的介绍吧!