关于 Apache Pulsar
Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐以及低延时的高可扩展流数据存储特性。
继腾讯 Maintainer 加盟后,Apache 软件基金会顶级项目、分布式消息流平台 Apache Pulsar 生态项目 KoP (Kafka-on-Pulsar) 新增一位社区 Maintainer,他是来自 BIGO 的高级工程师吴展鹏(Github ID:wuzhanpeng)。BIGO 在 2020 年将消息系统从 Kafka 迁移到 Pulsar,在 KoP 的应用上有丰富的经验,并在 Pulsar-Flink 方向对社区做出了诸多贡献,来自 BIGO 的 Maintainer 加入 KoP 项目代表 BIGO 对 Pulsar 项目的认可与进一步投入。
什么是 KoP
“KoP“(Kafka on Pulsar)由 StreamNative 和 OVHcloud 共同开源,主要满足想要从 Kafka 应用程序切换到 Pulsar 的用户的强烈需求。
KoP 将 Kafka 协议处理插件引入 Pulsar broker,从而实现 Apache Pulsar 对原生 Apache Kafka 协议的支持。将 KoP 协议处理插件添加到现有 Pulsar 集群后,用户不用修改代码就可以将现有的 Kafka 应用程序和服务迁移到 Pulsar,从而使用 Pulsar 的强大功能,例如:
- 利用企业级多租户特性简化运营;
- 避免数据搬迁,简化操作;
- 利用 Apache BookKeeper 和分层存储持久保留事件流;
- 利用 Pulsar Functions 进行无服务器化事件处理。
新 Maintainer 的加入
迄今为止,吴展鹏为 KoP 项目贡献了 6 个 commit、7 个 PR;为 Pulsar 项目贡献了 5 个 commit、6 个 PR。他的贡献优化了 KoP 项目的性能:
- 优化 KoP 消费侧性能,将消费吞吐提升 3 倍,并将解码耗时降低为原来的 1/5;
- 优化 KoP 消费侧内存,避免 entry 数据进入 broker 堆内存,减少 GC 影响;
贡献者寄语
很高兴成为 Kafka-on-Pulsar Maintainer!作为 KoP 的用户与贡献者,成为 maintainer 代表着社区对我的认可。在使用与贡献的过程中我认识了很多 Pulsar 社区的伙伴们,期待越来越多的人加入 KoP 项目、使用、参与贡献,并像我一样结识志同道合的工程师们。未来我会在 KoP 项目上付出更多精力,贡献代码和思路,并引领更多的人结识 KoP、加入 KoP!
期待吴展鹏作为 KoP 项目 Maintainer 为 KoP maintainer 团队带来新的力量,期待大家持续推动 KoP 项目功能完善,更好地服务社区。
目前 Apache Pulsar 社区对 KoP 项目有着大量技术需求,StreamNative 将与社区贡献者们一起定期发布 KoP 版本更新,以不断满足社区需求。热烈欢迎社区参与项目,共同交流、一起成长。希望未来有越来越多的资深 contributor “玩家”解锁 Maintainer 角色。
试用 KoP
- KoP 使用 Apache License V2 许可证,项目地址为:https://github.com/streamnative/kop。
- 如果已经运行 Pulsar 集群,并且希望其支持 Kafka 协议,可以将 KoP 协议处理插件安装到现有的 Pulsar 集群。相关详细信息,请参考说明[1]。
欢迎想要从其他 Kafka 应用程序切换到 Pulsar 的小伙伴们使用 KoP, 社区也开源了 AoP(AMQP-on-Pulsar)[2]、MoP(MQTT-on-Pulsar)[3]、RoP(Rocket-MQ-on-Pulsar)[4],帮助用户将 RabbitMQ / MQTT/RocketMQ 应用程序和服务迁移到 Pulsar。
我们期待你的 issue 和 PR。
作为全球性开源项目,截至 2021 年 8 月 4 日,Apache Pulsar 已拥有 430 名贡献者、9.4 K+ Star 、2.3 K+ Fork 。正是由于分布在全球各地的社区开发者的贡献,才使得 Apache Pulsar 项目不断发展与前进。
如果你也想为 Apache Pulsar 项目出一份力、向 Maintainer、Committer 甚至 PMC 成员进军,参考下面链接,来加入我们吧:
Apache Pulsar 官方贡献指南[5]
相关阅读
- Apache Pulsar 生态项目 RocketMQ-on-Pulsar 新增 3 位腾讯 Maintainer
- Apache Pulsar 生态项目 AoP 新增两位中国移动 Maintainer!
- 腾讯加盟:Kafka-on-Pulsar 项目迎来 2 位腾讯 Maintainer!
引用链接
[1]
说明: https://github.com/streamnative/kop#install-kop-protocol-handler
[2]
AoP(AMQP-on-Pulsar): https://github.com/streamnative/aop
[3]
MoP(MQTT-on-Pulsar): https://github.com/streamnative/mop
[4]
RoP(Rocket-MQ-on-Pulsar): https://github.com/streamnative/rop
[5]
Apache Pulsar 官方贡献指南: http://pulsar.apache.org/en/contributing/