Kafka - Kafka的优缺点

发布时间 2023-07-20 16:38:51作者: frank_cui

Kafka优点

1.吞吐量高

kafka的吞吐量,比NATS低,但比其他MQ(例如:RabbitMQ)高

  • kafka的sender性能比receiver的吞吐量高。是因为receiver是通过主动pull(拉取)方式获取的,会有一定的延时
  • NATS的sender和receiver直接push(推送),因此性能很高

 

2.可用性高

replicate + isr + 选举 机制保证

3.工具链、生态成熟

监控 运维 管理 方案齐全;

 

Kafka缺点

1.无法弹性扩容

对partition的读写都在partition leader所在的broker,如果该broker压力过大,也无法通过新增broker来解决问题;

 

2.扩容成本高

集群中新增的broker只会处理新topic,如果要分担老topic-partition的压力,需要手动迁移partition,这时会占用大量集群带宽;

 

3.只能支持同一partition消息有序,无法实现全局有序

 

4.consumer的实时性稍弱

kafka由两个参数控制consumer从broker的pull速度:

一般来说,生产环境会配置 linger.ms=5-100ms,为了可以增加吞吐量

如果把linger.ms是0ms, 即代表没有任何延迟,按理说也能达到NATs那种零延迟的效果

 

5.消费者新加入和退出会造成整个消费组rebalance

导致数据重复消费,影响消费速度,增加e2e延迟;

 

6.partition过多会使得性能显著下降

ZK压力大,broker上partition过多让磁盘顺序写几乎退化成随机写。