kafka 1个consumer 多个partition 只消费一个partition

栏目: 后端 · 发布时间: 6年前

内容简介:一个topic创建了几个partition,启动consumer的时候,只会消费一个partition,消费完了后,会把这个consumer给关闭掉。再启动consumer时,还是只会消费上次消费的那个partition。中间没有任何报错。consumer启动时,只会消费一个partition,然后不能关闭consumer,然后在进行consumer.poll的时候,就可以从其他partition消费了。就算consumer不关闭,偶尔也会从一个分区读取数据,consumer,timeout的时候,cons

一个topic创建了几个partition,启动consumer的时候,只会消费一个partition,消费完了后,会把这个consumer给关闭掉。再启动consumer时,还是只会消费上次消费的那个partition。中间没有任何报错。

1,产生这个问题的原因

consumer启动时,只会消费一个partition,然后不能关闭consumer,然后在进行consumer.poll的时候,就可以从其他partition消费了。

就算consumer不关闭,偶尔也会从一个分区读取数据,consumer,timeout的时候,consumer会自启动,这个时候,也只会从一个分区读取

2,partition和consumer对应规则,总结出来一句话。

consumer对partition,是一对一,一对多都可以

partition对consumer,只能是一对一

如果consumer启动数,大于partition数,肯定有consumer消费不到数据的。

关于网上有的说只消费一个partition,根kafka-clients包版本有关,试了二个版本,发现根版本没关系。


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

The Algorithmic Beauty of Plants

The Algorithmic Beauty of Plants

Przemyslaw Prusinkiewicz、Aristid Lindenmayer / Springer / 1996-4-18 / USD 99.00

Now available in an affordable softcover edition, this classic in Springer's acclaimed Virtual Laboratory series is the first comprehensive account of the computer simulation of plant development. 150......一起来看看 《The Algorithmic Beauty of Plants》 这本书的介绍吧!

JSON 在线解析
JSON 在线解析

在线 JSON 格式化工具

XML 在线格式化
XML 在线格式化

在线 XML 格式化压缩工具

HEX HSV 转换工具
HEX HSV 转换工具

HEX HSV 互换工具