Kafka 保证消息消费的全局顺序性问题

发布时间 2023-12-20 17:14:00作者: *人丑就该多读书*

参考:https://mp.weixin.qq.com/s/A69gY_tDXrs4kQPiuUNJTQ

 

 

  • Kafka 的设计目标是提供高吞吐量和低延迟,而不是强制保证全局有序性,所以Kafka使用多分区的概念,并且只保证单分区有序

  • 如果想要实现消息的全局有序

    • 方法1.单分区策略:

      一个主题下只创建一个分区,一个消费者只消费一个分区,但这样做毫无并发性可言,极大降低系统性能

    • 方法2. 基于 key 的消息分配策略:

    •  

      由于相同的 key 就发送到同一分区,这样就能够保证了消费的消息是有序的。然而,如果只有一个消费者消费相同 key 的消息,与前面单分区相比没有什么区别

      方法3. 自定义分区器来实现这个需求。你可以创建一个实现了 IPartitioner 接口的自定义分区器类,并在生产者配置中指定使用该分区器。
      方法4. 消息发送者按照序号生成数据,写入一张表带Index、status字段,消费者根据index、status字段判断下一个序号。