当生产者发送消息的速度超过了消费者处理消息的速度,就会导致队列中的消息堆积,直到队列存储消息达到上限。之后发送的消息就会成为死信,可能会被丢弃,这就是消息堆积问题。
解决消息堆积的两种思路
- 增加更多消费者,提高消费速度。也就是我们之前说的work queue模式
- 扩大队列容积,提高堆积上限(该方法会占用大量内存,不合适)
使用惰性队列的方式解决
惰性队列的特征
- 接收到消息后直接存入磁盘而非内存
- 消费者要消费消息时才会从磁盘中读取并加载到内存
- 支持数百万条的消息存储
两种声明惰性队列的方式
- 基于@Bean的方式声明lazy-queue
点击查看代码
@Configuration
public class LazyConfig {
@Bean
public Queue lazyQueue(){
return QueueBuilder.durable("lazy.queue1")
.lazy() //开启x-queue-mode为lazy
.build();
}
}
点击查看代码
@Slf4j
@Component
public class LazyListerner {
@RabbitListener(queuesToDeclare = @Queue(
name = "lazy.queue2",
durable = "true",
arguments = @Argument(name = "x-queue-mode",value = "lazy")
))
public void lazyListerer(String msg){
log.info("接收到lazy.queue2的消息{}",msg);
}
}
总结
消息堆积问题的解决方案?
- 队列上绑定多个消费者,提高消费速度
- 使用惰性队列,可以再mq中保存更多消息
惰性队列的优点有哪些? - 基于磁盘存储,消息上限高
- 没有间歇性的page-out,性能比较稳定
惰性队列的缺点有哪些? - 基于磁盘存储,消息时效性会降低
- 性能受限于磁盘的IO