RocketMQ消费批拉超过32不生效

栏目: 后端 · 发布时间: 7年前

内容简介:由于一些原因,我需要RocketMQ消费的时候,一批拉400条,一批处理400条。设置如下:为了简单验证是否正确,消费如下:

说明

由于一些原因,我需要RocketMQ消费的时候,一批拉400条,一批处理400条。设置如下:

RocketMQ消费批拉超过32不生效

为了简单验证是否正确,消费如下:

RocketMQ消费批拉超过32不生效

直接通过打印msgs.size()观察情况即可。

现象

实验的topic里面的消息数量很多很多,但是启动消费端,消费端的日志如下:

RocketMQ消费批拉超过32不生效

奇怪啦,明明已经进行了修改

RocketMQ消费批拉超过32不生效

为什么还是每次只能消费32条呢?

调试RocketMQ源码

通过跟踪consumer代码:

RocketMQ消费批拉超过32不生效

这里的确已经设置为400了,那么我们需要跟踪到broker服务端进行查看了。

RocketMQ消费批拉超过32不生效

broker接受到的也是400,我们只有继续跟踪

RocketMQ消费批拉超过32不生效

因为返回为true导致下面的if判断成立,for循环就break了,所有只取了32条数据返回到consumer了:

RocketMQ消费批拉超过32不生效

RocketMQ消费批拉超过32不生效

如果需要让可以一次拉取400条,需要修改broker这里的数据配置才可(其实关于一条消息大小也是类似的,虽然说最大设置16M,但是也是和这里同理需要设置broker相关的数据配置才可生效)。

修改broker的配置文件,添加:maxTransferCountOnMessageInMemory=400 重启broker即可,效果如下:

RocketMQ消费批拉超过32不生效

效果正常,其实如果消息过大,还需要考虑下面几个参数:

RocketMQ消费批拉超过32不生效

总结

需要RocketMQ消费的时候,一批拉400条,一批处理400条。设置如下:

RocketMQ消费批拉超过32不生效

还是达不到效果的,还需要设置broker相关的参数,本次里面设置broker的maxTransferCountOnMessageInMemory=400即可,其他情况需要考虑如下等参数。

RocketMQ消费批拉超过32不生效

文章github源代码地址: rocketmq ,或者公号回复“ rocketmq ”获取源码地址。


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Machine Learning in Action

Machine Learning in Action

Peter Harrington / Manning Publications / 2012-4-19 / GBP 29.99

It's been said that data is the new "dirt"—the raw material from which and on which you build the structures of the modern world. And like dirt, data can seem like a limitless, undifferentiated mass. ......一起来看看 《Machine Learning in Action》 这本书的介绍吧!

在线进制转换器
在线进制转换器

各进制数互转换器

XML 在线格式化
XML 在线格式化

在线 XML 格式化压缩工具

RGB CMYK 转换工具
RGB CMYK 转换工具

RGB CMYK 互转工具