关于 Apache Pulsar
Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。
GitHub 地址:http://github.com/apache/pulsar/
导语
各位小伙伴们,Pulsar 社区周报更新来啦!
本次 Pulsar 社区周报,为大家呈现 Pulsar client、broker、transactions 等内容,帮助社区小伙伴们掌握 Pulsar 项目及社区每周进展,也方便大家更好地参与到 Pulsar 社区中来!
感谢本周以下小伙伴为 Apache Pulsar 添砖加瓦(排名不分先后,看看你有没有上榜):
eolivelli、linlinnn、devinbost、merlimat、lhotari、freeznet、cdbartholomew、hangc0276、315157973、abhilashmandaliya、congbobo184、BewareMyPower、aahmed-se、Shoothzj、yangl、odmarkj、lbenc135、jangwind、MarvinCai、rdhabalia、KannarFr、wangjialing218、david-streamlio
接下来,一起看看 5 月 10 日 ~ 5 月 16 日有哪些值得你关注的进展吧!
本周亮点
Transaction:处理 transaction 待处理的 ack 持久性。
https://github.com/apache/pulsar/pull/8881
贡献者:@congbobo184
Broker:将 schema 存储元数据迁移到 MetadataStore
。
https://github.com/apache/pulsar/pull/10545
贡献者:@merlimat
Docker:添加一个包含所有 Pulsar 组件的新的 Docker Compose。
https://github.com/apache/pulsar/pull/10409
贡献者:@odmarkj
重要进展
[PIP-85] 将 schema 信息添加到 Java Client API 的消息中。
https://github.com/apache/pulsar/pull/10476
贡献者:@eolivelli
重要特性
•因为 PR 较多,仅列举较大 PR 进展,不包括当周全部动态
•下面 PR 均已合入 Pulsar 主分支
Python Client:用 PulsarExceptions
替换 Exceptions
。
https://github.com/apache/pulsar/pull/7600
贡献者:@lbenc135
Enhancement:支持 reader 从单独的消息 ID 或时间中查找消息。
https://github.com/apache/pulsar/pull/10348
贡献者:@315157973
CLI:支持通过 CLI 设置基于时间限制的积压配额。
https://github.com/apache/pulsar/pull/10401
贡献者:@MarvinCai
Pulsar IO:在可能的情况下,在 Pulsar sink connector 中使用 Message.getReaderSchema()
。
https://github.com/apache/pulsar/pull/10557
贡献者:@eolivelli
Broker:将 topic 级别的 averageMsgSize
暴露给指标。
https://github.com/apache/pulsar/pull/10553
贡献者:@315157973
增强功能:支持在不中断 producer 和 consumer 的情况下截断 topic 的所有数据。
https://github.com/apache/pulsar/pull/10326
贡献者:@jangwind
Enhancement:支持使用自定义 SerDe 创建 MetadataCache
。
https://github.com/apache/pulsar/pull/10543
贡献者:@merlimat
Broker:在无需处理 startMessageRollbackDurationSec
的情况下获得持久订阅。
https://github.com/apache/pulsar/pull/10520
贡献者:@linlinnn
Auth:在 Pulsar broker 和 Pulsar proxy 中为 Jetty 启用 Conscrypt。
https://github.com/apache/pulsar/pull/10541
贡献者:@lhotari
Broker:当 broker 内一个 consumer 的订阅数到达顶峰时,允许其他尚未达到订阅数的consumer 消费消息。
https://github.com/apache/pulsar/pull/10417
贡献者:@rdhabalia
Enhancement:支持禁用 producer 的最大队列大小。
https://github.com/apache/pulsar/pull/9650
贡献者:@merlimat
Auth:在 HTTP 身份验证中支持可选的身份验证方法名称标头。
https://github.com/apache/pulsar/pull/6799
贡献者:@KannarFr
重要 Bug 修复
•因修复内容较多,仅列举较重要修复内容,不包括本周全部动态
•下面修复均已合入 Pulsar 主分支
Broker:修复 PusarService
和 conf.
中的 AdvertisedAddress
不一致的问题。
https://github.com/apache/pulsar/pull/10312
贡献者:@315157973
Client:修复 ACK 分组跟踪器检查重复的消息 ID 时抛出的 NPE 问题。
https://github.com/apache/pulsar/pull/10586
贡献者:@BewareMyPower
Test:修复 GracefulExecutorServicesShutdownTest
的 flaky test。
https://github.com/apache/pulsar/pull/10599
贡献者:@lhotari
Function:修复 sink 或 source 异常统计信息。
https://github.com/apache/pulsar/pull/10549
贡献者:@linlinnn
Client:修复默认的重试主题名称和死信主题名称。
https://github.com/apache/pulsar/pull/10129
贡献者:@wangjialing218
代理:修复检查分区主题是否为系统主题时发生的错误。
https://github.com/apache/pulsar/pull/10529
贡献者:@hangc0276
Broker:加固 OpAddEntry.toString()
到 null 以防止 NPE。
https://github.com/apache/pulsar/pull/10548
贡献者:@devinbost
Transaction:修复 transaction 缓冲区删除标记的问题。
https://github.com/apache/pulsar/pull/10525
贡献者:@congbobo184
Test:重构 function 集成测试以更易于维护。
https://github.com/apache/pulsar/pull/10140
贡献者:@david-streamlio
活动和新闻
- 报名:本周日直播 TGIP-CN 033|Apache Pulsar 在拉卡拉的技术实践
- 报名:Pulsar Virtual Summit North America 2021[1]
- [英文社区] TGIP:Pulsar 及其生态系统[2]
- [中文社区] TGIP-CN:Pulsar 及其生态系统[3]
博文推荐
- 博文推荐|如何使用Apache Pulsar + Hudi 构建 Lakehouse
- 译文|基于 Pulsar 的事件驱动铁路网
- Apache Pulsar — Development Setup -- alpha2phi[4]
- 7 Reasons to Choose Apache Pulsar over Apache Kafka -- Chris Bartholomew[5]
- Pulsar Virtual Summit North America 2021 议程出炉[6]
作为全球性开源项目,截至 2021 年 5 月 16 日,Apache Pulsar 已拥有 395 名贡献者、8.5 K+ Star 、2.1 K+ Fork 。正是由于分布在全球各地的社区开发者的贡献,才使得 Apache Pulsar 项目不断发展与前进。
让我们期待下一周的 Apache Pulsar 周报!
如果你也想为 Apache Pulsar 项目出一份力、成为我们的 Contributor,参考下面链接,来加入我们吧:
•Apache Pulsar 官方贡献指南[7]
引用链接
[1]
报名:Pulsar Virtual Summit North America 2021: https://hopin.com/events/pulsar-summit-north-america-2021
[2]
TGIP:Pulsar 及其生态系统: https://streamnative.io/resource#tgip
[3]
TGIP-CN:Pulsar 及其生态系统: https://www.slidestalk.com/ApachePulsar/list/meetup/
[4]
Apache Pulsar — Development Setup -- alpha2phi: https://alpha2phi.medium.com/apache-pulsar-development-setup-bbdc82314cf
[5]
7 Reasons to Choose Apache Pulsar over Apache Kafka -- Chris Bartholomew: https://datastax.medium.com/7-reasons-to-choose-apache-pulsar-over-apache-kafka-cb111087eadb
[6]
Pulsar Virtual Summit North America 2021 议程出炉: https://streamnative.io/en/blog/community/2021-05-12-pulsar-virtual-summit-north-america-2021-speakers-announced
[7]
Apache Pulsar 官方贡献指南: http://pulsar.apache.org/en/contributing/
猜你喜欢:Pulsar 周报由 StreamNative 翻译整理。原文内容来自 StreamNative 官网 Pulsar 周报模块 https://streamnative.io/weekly。