直播平台制作,重试机制和死信队列的合理运用

发布时间 2024-01-06 14:01:10作者: 云豹科技-苏凌霄

在直播平台制作中,如何实现消息消费失败后重试至多三次,仍失败则加入死信队列?

一、重试机制

首先说一下RabbitMQ的消息重试机制,顾名思义,就是消息消费失败后进行重试,重试机制的触发条件是消费者显式的抛出异常,如果没有显式地抛出异常或者try catch起来没有手动回滚,事务是不会回滚的。
以下代码可以触发重试机制
编辑

还有一种情况就是消息被拒绝后重新加入队列,比如basic.reject和basic.nack,并且requeue = true , 但是个人认为这个不算是触发了重试机制,这个是重新进入到了消息队列然后重新被消费,并且也不会触发我们重试机制的配置(如重试间隔、最大重试次数等等)。

在直播平台制作中重试机制是默认开启的,但是如果没有重试机制相关的配置会导致消息一直无间隔的重试,直到消费成功,所以要使用重试机制一定要有相关配置。

spring:
  rabbitmq:
    host: 127.0.0.1
    port: 5672
    virtual-host: mq-test
    username: ********
    password: ********
    listener:
      simple:
        # ACK模式(none,auto,manual,默认为auto)
        acknowledge-mode: auto
        # 开启重试
        retry:
          # 是否开启重试机制
          enabled: true
          # 最大重试次数
          max-attempts: 5
          # 重试间隔(ms)
          initial-interval: 5000

 

二、死信队列

说到死信队列,首先需要知道什么是死信
死信就是消息在直播平台制作的特定场景下的一种表现形式,这些场景包括:

消息被拒绝(basic.reject / basic.nack),并且requeue = false
消息的 TTL 过期时
消息队列达到最大长度
达到最大重试限制

消息在这些场景中时,被称为死信。
死信队列就是用于储存死信的消息队列,在死信队列中,有且只有死信构成,不会存在其余类型的消息。死信队列也是一个普通队列,也可以被消费者消费,区别在于业务队列需要绑定在死信队列上,才能正常地把死信发送到死信队列上。
业务队列绑定死信队列
编辑

三、重试+死信的实现

文章开头的场景有两种方案可以实现
方案一:使用自动ACK + RabbitMQ重试机制
方案二:使用手动ACK + 手动重试机制

3.1 自动ACK + RabbitMQ重试机制

配置

spring:
  rabbitmq:
    host: 127.0.0.1
    port: 5672
    virtual-host: mq-test
    username: ********
    password: ********
    listener:
      simple:
        # ACK模式(默认为auto)
        acknowledge-mode: auto
        # 开启重试
        retry:
          enabled: true
          max-attempts: 5
          initial-interval: 5000

  

消费者

 @RabbitListener(queues = RabbitMqConfig.USER_ADD_QUEUE, concurrency = "10")
    public void userAddReceiver(String data, Message message, Channel channel) throws Exception {
        UserVo vo = OBJECT_MAPPER.readValue(data, UserVo.class);
        boolean success = messageHandle(vo);
        // 通过业务控制是否消费成功,消费失败则抛出异常触发重试
        if (!success) {
            log.error("消费失败");
            throw new Exception("消息消费失败");
        }
    }

 

需要说明的是,上述的方法一定要在直播平台制作时开启自动ACK,才会在到达最大重试上限后发送到死信队列,而且在重试过程中会独占当前线程,如果是单线程的消费者会导致其他消息阻塞,直至重试完成,所以可以使用 @RabbitListener上的concurrency属性来控制并发数量。

3.2 手动ACK + 手动重试

配置

spring:
  rabbitmq:
    host: 127.0.0.1
    port: 5672
    virtual-host: mq-test
    username: ********
    password: ********
    listener:
      simple:
        # ACK模式(默认为auto)
        acknowledge-mode: manual

 

需要说明的是,如果是手动ACK配置了重试机制,在抛出异常的时候仍会触发重试,但是达到重试上限之后,会永远处于Unacked状态,不会进入到死信队列,必须要手动拒绝才可以进入死信队列,所以说这里不用配置重试机制而是采用手动重试的方式

消费者


/**
* 消息最大重试次数
*/
private static final int MAX_RETRIES = 3;

/**
* 重试间隔(秒)
*/
private static final long RETRY_INTERVAL = 5;

private static final ObjectMapper OBJECT_MAPPER = new ObjectMapper();

@RabbitListener(queues = RabbitMqConfig.USER_ADD_QUEUE, concurrency = "10")
public void userAddReceiver(String data, Message message, Channel channel) throws IOException, InterruptedException {
UserVo vo = OBJECT_MAPPER.readValue(data, UserVo.class);
// 重试次数
int retryCount = 0;
boolean success = false;
   // 消费失败并且重试次数<=重试上限次数
while (!success && retryCount < MAX_RETRIES) {
retryCount++;
// 具体业务逻辑
success = messageHandle(vo);
// 如果失败则重试
if (!success) {
String errorTip = "第" + retryCount + "次消费失败" +
((retryCount < 3) ? "," + RETRY_INTERVAL + "s后重试" : ",进入死信队列");
log.error(errorTip);
Thread.sleep(RETRY_INTERVAL * 1000);
}
}
if (success) {
// 消费成功,确认
channel.basicAck(message.getMessageProperties().getDeliveryTag(), false);
log.info("创建订单数据消费成功");
} else {
// 重试多次之后仍失败,进入死信队列
channel.basicNack(message.getMessageProperties().getDeliveryTag(), false, false);
log.info("创建订单数据消费失败");
}
}
 

 

总结:两种方案都可以在直播平台制作时达到我们的预期效果,相比起来方案一会更加的方便简洁,方案二的可控性更高,以上就是直播平台制作,重试机制和死信队列的合理运用, 更多内容欢迎关注之后的文章