关于 Apache Pulsar
Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。
GitHub 地址:http://github.com/apache/pulsar/
导语
各位小伙伴们,Pulsar 社区周报更新来啦!
本次 Pulsar 社区周报,为大家呈现 Pulsar client、broker、transaction 等内容,帮助社区小伙伴们掌握 Pulsar 项目及社区每周进展,也方便大家更好地参与到 Pulsar 社区中来!
感谢本周以下小伙伴为 Apache Pulsar 添砖加瓦(排名不分先后,看看你有没有上榜):
eolivelli、linlinnn、freeznet、hangc0276、lhotari、fantapsody、RobertIndie、codelipenghui、315157973、congbobo184、wolfstudy、wangjialing218、wuzhanpeng、gaoran10、dockerzhang、dlg99、merlimat、ru1996、yangl、lzhpo、michaeljmarshall
接下来,一起看看 5 月 31 日 ~ 6 月 6 日有哪些值得你关注的进展吧!
本周亮点
Sink:支持将 Kafka 的 sink 作为 Pulsar 的 sink 使用。
https://github.com/apache/pulsar/pull/9927
贡献者:@dlg99
重要特性
- 因为 PR 较多,仅列举较大 PR 进展,不包括当周全部动态
- 下面 PR 均已合入 Pulsar 主分支
Metrics:使用 ZooKeeper Prometheus 指标提供器暴露 ZooKeeper 指标。
https://github.com/apache/pulsar/pull/10803
贡献者:@hangc0276
Transaction:将 managedLedger
指标添加到 Prometheus 指标。
https://github.com/apache/pulsar/pull/10761
贡献者:@congbobo184
Broker:为 geo-replicator 添加广播的 listenerName
以连接到远程集群。
https://github.com/apache/pulsar/pull/10751
贡献者:@wangjialing218
Transaction:为 transaction Admin API 添加同步方法。
https://github.com/apache/pulsar/pull/10745
贡献者:@congbobo184
BookKeeper:将 BookKeeper 升级到 4.14.1 版本。
https://github.com/apache/pulsar/pull/10686
贡献者:@hangc0276
重要 Bug 修复
- 因修复内容较多,仅列举较重要修复内容,不包括本周全部动态
- 下面修复均已合入 Pulsar 主分支
Pulsar SQL:修复对 primary schema 的表运行 select count(*)
时发生的 Pulsar SQL 问题。
https://github.com/apache/pulsar/pull/10840
贡献者:@codelipenghui
Broker:修复由于重复使用 entry wrapper 而导致消费者卡住的问题。
https://github.com/apache/pulsar/pull/10824
贡献者:@codelipenghui
Schema:修复 AutoConsumeSchema
使用空 schema 版本解码消息时发生的 NEP。
https://github.com/apache/pulsar/pull/10811
贡献者:@gaoran10
Build:支持在未设置 CROWDIN_DOCUSAURUS_API_KEY
的情况下构建 Pulsar。
https://github.com/apache/pulsar/pull/10804
贡献者:@lhotari
Kinesis:修复 Kinesis sink 连接器不确认消息的问题。
https://github.com/apache/pulsar/pull/10769
贡献者:@RobertIndie
Java Client:在调用 redeliverUnacknowledgedMessages
之前释放 UnAckedMessageTracker
的写锁。
https://github.com/apache/pulsar/pull/10768
贡献者:@codelipenghui
BookKeeper:遍历 batchDeletedIndexes
时添加读锁。
https://github.com/apache/pulsar/pull/10763
贡献者:@315157973
Transaction:修复 transaction Admin API 的路径传递参数问题。
https://github.com/apache/pulsar/pull/10748
贡献者:@congbobo184
Broker:启用更新 ManagedLedgerConf#maximumRolloverTimeMs
。
https://github.com/apache/pulsar/pull/10746
贡献者:@wuzhanpeng
Kinesis:修复找不到 Kinesis sink Backoff
类的问题。
https://github.com/apache/pulsar/pull/10744
贡献者:@gaoran10
Schema:修复死信 producer 不处理 AUTO_CONSUME_SCHEMA
的问题。
https://github.com/apache/pulsar/pull/9970
贡献者:@congbobo184
活动和新闻
- 报名 Pulsar Virtual Summit North America 2021[1]
- TGIP:关于 Pulsar 及其生态系统的每周直播[2]
- Intro to Apache Pulsar 101:关于 Pulsar 的每月直播,包括概念、架构和设计[3]
博文推荐
- Pulsar Isolation for Dummies: Separate Pulsar Clusters[4]
- Building Connectors On Pulsar Made Simple[5]
- Indestructible Storage in the Cloud with Apache BookKeeper -- Anup Ghatage[6]
译者简介
Apache Pulsar 社区周报由 StreamNative 负责维护,本期周报由社区志愿者王伦辉翻译自英文版周报。
译者简介:我是王伦辉,技术爱好者,喜欢折腾,刚加入 Pulsar 大家庭,希望 Pulsar 越来越好,个人 GitHub:https://github.com/wanglunhui2012
作为全球性开源项目,截至 2021 年 6 月 6 日,Apache Pulsar 已拥有 400+ 贡献者、8.8 K+ Star 、2.1 K+ Fork 。正是由于分布在全球各地的社区开发者的贡献,才使得 Apache Pulsar 项目不断发展与前进。
让我们期待下一周的 Apache Pulsar 周报!
引用链接
[1]
报名 Pulsar Virtual Summit North America 2021: https://hopin.com/events/pulsar-summit-north-america-2021
[2]
TGIP:关于 Pulsar 及其生态系统的每周直播: https://streamnative.io/resource#tgip
[3]
Intro to Apache Pulsar 101:关于 Pulsar 的每月直播,包括概念、架构和设计: https://streamnative.io/en/resource#intro-to-apache-pulsar-101
[4]
Pulsar Isolation for Dummies: Separate Pulsar Clusters: https://streamnative.io/en/blog/tech/2021-06-03-pulsar-isolation-for-dummies-separate-pulsar-clusters
[5]
Building Connectors On Pulsar Made Simple: https://streamnative.io/en/blog/tech/2021-06-01-building-connectors-on-pulsar-made-simple
[6]
Indestructible Storage in the Cloud with Apache BookKeeper -- Anup Ghatage: https://streamnative.io/en/blog/case/2021-06-01-indestructible-storage-in-the-cloud-with-apache-bookkeeper