kafka消费端速度慢解决方案

发布时间 2023-12-09 17:43:51作者: guoyu1

一、增加patition数量, 有多少个patition就会启多少个消费者线程去消费,跟消费者服务节点的数量无关,只能patition有关。

二、patition一样的情况下,改为批量消费,一次拉取多条数据,max.poll.records,利用多线程去处理数据,避免单线程处理批量数据时间过长,导致超时。

 

提交方式问题:

enable.auto.commit:

1、默认为true,就是消费到数据就自动提交成功,处理数据出现问题没默认消费成功了

2、重要数据改为false,改为手动提交,consumer.commitSync();

https://blog.csdn.net/shaolong1013/article/details/102978288