RabbitMQ处理消息堆积问题---惰性队列

发布时间 2023-05-26 15:25:15作者: wzh_Official

当生产者发送消息的速度超过了消费者处理消息的速度,就会导致队列中的消息堆积,直到队列存储消息达到上限。之后发送的消息就会成为死信,可能会被丢弃,这就是消息堆积问题。

解决消息堆积的两种思路

  • 增加更多消费者,提高消费速度。也就是我们之前说的work queue模式
  • 扩大队列容积,提高堆积上限(该方法会占用大量内存,不合适)

使用惰性队列的方式解决
惰性队列的特征

  • 接收到消息后直接存入磁盘而非内存
  • 消费者要消费消息时才会从磁盘中读取并加载到内存
  • 支持数百万条的消息存储

两种声明惰性队列的方式

  • 基于@Bean的方式声明lazy-queue
点击查看代码
@Configuration
public class LazyConfig {
    @Bean
    public Queue lazyQueue(){
        return QueueBuilder.durable("lazy.queue1")
                .lazy() //开启x-queue-mode为lazy
                .build();
    }
}
* 基于@RabbitListener声明lazy-queue
点击查看代码
@Slf4j
@Component
public class LazyListerner {
    @RabbitListener(queuesToDeclare = @Queue(
            name = "lazy.queue2",
            durable = "true",
            arguments = @Argument(name = "x-queue-mode",value = "lazy")
    ))
    public void lazyListerer(String msg){
        log.info("接收到lazy.queue2的消息{}",msg);
    }
}

总结
消息堆积问题的解决方案?

  • 队列上绑定多个消费者,提高消费速度
  • 使用惰性队列,可以再mq中保存更多消息
    惰性队列的优点有哪些?
  • 基于磁盘存储,消息上限高
  • 没有间歇性的page-out,性能比较稳定
    惰性队列的缺点有哪些?
  • 基于磁盘存储,消息时效性会降低
  • 性能受限于磁盘的IO