RocketMQ的消费模式

栏目: 后端 · 发布时间: 7年前

内容简介:在公司的技术分享中,就有聊到rocketmq的消费模式,特此总结一下。在说消费之前,这里先说一下rocketmq中group的概念吧,一个group代表的是逻辑相同的一组实例,最可以表达这个概念的是我们将一个项目部署多个实例,那么这个项目的集群就可以称之为一个group。说完group,再来说说广播消费,在这种模式下,rocketmq会将消息发送给group中的每一个消费者,如果这种模式在公司的项目中,会造成消息重复消费的问题,理论上会有N-1次重复消费,那么rocketmq为什么还会保留这种消费模式呢?存

在公司的技术分享中,就有聊到rocketmq的消费模式,特此总结一下。

广播消费

在说消费之前,这里先说一下rocketmq中group的概念吧,一个group代表的是逻辑相同的一组实例,最可以表达这个概念的是我们将一个项目部署多个实例,那么这个项目的集群就可以称之为一个group。

说完group,再来说说广播消费,在这种模式下,rocketmq会将消息发送给group中的每一个消费者,如果这种模式在公司的项目中,会造成消息重复消费的问题,理论上会有N-1次重复消费,那么rocketmq为什么还会保留这种消费模式呢?存在必有它的道理,比方说,如果需要动态更细一些配置,我们需要在不重启服务的情况下,将新的配置推送给group中的每一个消费者,这时候广播消费就发挥它的独到之处了。

集群消费

集群消费是用的最广泛的一种消费模式,在集群消费模式下,同一条消息,只能被group中的任意一个消费者消费,这个概念很重要,这是与广播消费的最明显区别。

在集群消费模式下,我们的消息只能被消费一次(实际上消息也会重复消费,因为存在网络不稳定因素),rocketmq是怎么实现的呢?

这里我要说一下rocketmq中的队列,在默认情况下,rocketmq会为每个topic在Broker节点上分配若干个队列,查rocketmq手册可知,默认的队列数量是4 (defaultTopicQueueNums: 4),客户端使用长轮询发起请求,和服务端连接上,主动从broker上拉取消息,而每个队列只能由一个消费者监听消费,这样就做到了消息的实时性得到保障,同时保证了消息只有由一个消费者监听消费,这时候问题又来了,消费者是随机拉取消息的吗?

消费者它会随机从broker上拉取消息,且平均分摊消费消息,比方说该topic下有8条消息,其中一个group有2个消费者,那么每个实例只消费其中的4条。

如果用队列来举例,也是成立的,比方说该topic下有4个队列,只有两个消费者,那么第一个消费者消费3条队列,第二个消费者消费2条队列,rocketmq也因此实现了订阅消息的负载均衡特性。rocketmq可以横向扩展消费者数量来提高集群的消费能力,但由于一条队列只能由一个消费者监听消费,多余的消费者将不能消费,所以我们扩展消费者数量的时候,需要注意队列的数量是否大于消费者数量。

我发现rocketmq的源码有必要阅读,我后面会有很多关于rocketmq的一些源码分析,敬请期待。

下面是我自己手画的概念图,很难看,将就着看吧:

RocketMQ的消费模式


以上所述就是小编给大家介绍的《RocketMQ的消费模式》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

TensorFlow:实战Google深度学习框架(第2版)

TensorFlow:实战Google深度学习框架(第2版)

顾思宇、梁博文、郑泽宇 / 电子工业出版社 / 2018-2-1 / 89

TensorFlow是谷歌2015年开源的主流深度学习框架,目前已得到广泛应用。《TensorFlow:实战Google深度学习框架(第2版)》为TensorFlow入门参考书,旨在帮助读者以快速、有效的方式上手TensorFlow和深度学习。书中省略了烦琐的数学模型推导,从实际应用问题出发,通过具体的TensorFlow示例介绍如何使用深度学习解决实际问题。书中包含深度学习的入门知识和大量实践经......一起来看看 《TensorFlow:实战Google深度学习框架(第2版)》 这本书的介绍吧!

在线进制转换器
在线进制转换器

各进制数互转换器

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试

HEX HSV 转换工具
HEX HSV 转换工具

HEX HSV 互换工具