kafka 1个consumer 多个partition 只消费一个partition

栏目: 后端 · 发布时间: 6年前

内容简介:一个topic创建了几个partition,启动consumer的时候,只会消费一个partition,消费完了后,会把这个consumer给关闭掉。再启动consumer时,还是只会消费上次消费的那个partition。中间没有任何报错。consumer启动时,只会消费一个partition,然后不能关闭consumer,然后在进行consumer.poll的时候,就可以从其他partition消费了。就算consumer不关闭,偶尔也会从一个分区读取数据,consumer,timeout的时候,cons

一个topic创建了几个partition,启动consumer的时候,只会消费一个partition,消费完了后,会把这个consumer给关闭掉。再启动consumer时,还是只会消费上次消费的那个partition。中间没有任何报错。

1,产生这个问题的原因

consumer启动时,只会消费一个partition,然后不能关闭consumer,然后在进行consumer.poll的时候,就可以从其他partition消费了。

就算consumer不关闭,偶尔也会从一个分区读取数据,consumer,timeout的时候,consumer会自启动,这个时候,也只会从一个分区读取

2,partition和consumer对应规则,总结出来一句话。

consumer对partition,是一对一,一对多都可以

partition对consumer,只能是一对一

如果consumer启动数,大于partition数,肯定有consumer消费不到数据的。

关于网上有的说只消费一个partition,根kafka-clients包版本有关,试了二个版本,发现根版本没关系。


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

多任务下的数据结构与算法

多任务下的数据结构与算法

周伟明 / 华中科技 / 2006-4 / 58.00元

本书和传统同类书籍的区别是除了介绍基本的数据结构容器如栈、队列、链表、树、二叉树、红黑树、AVL树和图之外,引进了多任务;还介绍了将任意数据结构容器变成支持多任务的方法;另外,还增加了复合数据结构和动态数据结构等新内容的介绍。在复合数据结构中不仅介绍了哈希链表、哈希红黑树、哈希AVL树等容器,还介绍了复合数据结构的通用设计方法;在动态数据结构中主要介绍了动态环形队列、动态等尺寸内存管理算法。在内存......一起来看看 《多任务下的数据结构与算法》 这本书的介绍吧!

HTML 编码/解码
HTML 编码/解码

HTML 编码/解码

Base64 编码/解码
Base64 编码/解码

Base64 编码/解码

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试