Kafka 消息偏移量的维护

栏目: IT技术 · 发布时间: 5年前

内容简介:Kafka 消息偏移量的维护

Kafka是大数据领域常用的消息队列,其高效的吞吐量和分布式容错等特性是其收到青睐的重要原因。

kafka消息的位置

用好Kafka,维护其消息偏移量对于避免消息的重复消费与遗漏消费,确保消息的Exactly-once是至关重要的。
kafka的消息所在的位置Topic、Partitions、Offsets三个因素决定。
Kafka消费者消费的消息位置还与consumer的group.id有关。

consumerOffsets与earlieastLeaderOffsets的关系

名称 含义
earlieastLeaderOffsets 存储在broker上的leader节点的最早的消息偏移量
consumerOffsets 消费者消费的消息偏移量位置

为了表述方便,我们记earlieastLeaderOffsets为A,记consumerOffsets为B 。

  • 情况一:正常情况下,消费的消息偏移量应该大于broker上存储的最早的消息偏移量,即 A < B:
    Kafka 消息偏移量的维护

我们知道,存储在broker上的kafka的消息常设置消息过期配置,当到达过期时间时过期的消息将会被清除。

  • 情况二:如果A 依然小于 B,则仍可以正常消费:
    Kafka 消息偏移量的维护

  • 情况三:然而,当 A > B 时,则说明还没有被消费的消息已经被清除:
    Kafka 消息偏移量的维护
    此种情况会抛出 kafka.common.OffsetOutOfRangeException 异常。

consumerOffsets 小于 earlieastLeaderOffsets的影响与解决办法

当情况三发生时,在(B,A)区间内的消息还没有被消费就已经被清除了,将导致两个后果。
1. 消息丢失。
2. 抛出 kafka.common.OffsetOutOfRangeException 异常。

在对消息完整性有严格要求的系统中,消息的丢失造成的影响会比较严重,所以在这种情况下,要保证消息不会遭到丢失。
避免消息丢失包含两个方面:

  • 还没有被消费过的消息不会被清除。
    在没有外部系统清除kafka消息的情况下,协调设置broker的最大保留大小 log.retention.bytes 和 最大保留时间log.retention.hours 等,来配合消费者端的读取消息。可以通过读取和监控消费者消费的offsets,来保证消息不会被意外清除。
  • 消费者端消费消息没有遗漏。
    当消费者意外中断时,重新启动消费时能够从上一次中断的消息偏移量开始消费。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

标签: kafka 消息偏移量的维护

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

React Native开发指南

React Native开发指南

[美]艾森曼 / 黄为伟 / 人民邮电出版社 / 2016-6-1 / CNY 59.00

本书通过丰富的示例和详细的讲解,介绍了React Native这款JavaScript框架。在React Native中利用现有的JavaScript和React知识,就可以开发和部署功能完备的、真正原生的移动应用,并同时支持iOS与Android平台。除了框架本身的概念讲解之外,本书还讨论了如何使用第三方库,以及如何编写自己的Java或Objective-C的React Native扩展。一起来看看 《React Native开发指南》 这本书的介绍吧!

SHA 加密
SHA 加密

SHA 加密工具

Markdown 在线编辑器
Markdown 在线编辑器

Markdown 在线编辑器

HSV CMYK 转换工具
HSV CMYK 转换工具

HSV CMYK互换工具