8.【RabbitMQ实战】- 发布确认高级

发布时间 2023-04-12 22:48:01作者: 无敌土豆

在生产环境中由于一些不明原因,导致 rabbitmq 重启,在 RabbitMQ 重启期间生产者消息投递失败,导致消息丢失,需要手动处理和恢复。如何才能进行 RabbitMQ 的消息可靠投递呢? 特别是在这样比较极端的情况,RabbitMQ 集群不可用的时候,无法投递的消息该如何处理呢?

消息回退(mandatory = true)

确认机制方案

image.png

如图所示生产者将消息发给broker,以下考虑两个情况

  1. 交换机不存在或交换机命名写错了,即交换机收不到消息如何告诉生产者(.Net版本此种情况不存在,交换机写错了会直接报错)
  2. RoutingKey写错了,队列收不到消息如何告诉生产者,即消息回退(以下演示这种情况)

代码架构图

image.png

RabbitmqUntils配置代码新增方法GetConfirmAdvancedQueue()

        /// <summary>
        /// 发布确认高级
        /// </summary>
        /// <returns></returns>
        public static IModel GetConfirmAdvancedQueue()
        {
            /*
                1. 声身confirm.exchange
                2. 声明confirm.queue
                3. 声明confirm.routingkey
                4. 绑定队列与交换机
             */
         
            var channel = RabbitmqUntils.GetChannel();
            channel.ExchangeDeclare(Confirm_Exchange,"direct",false,false,null);
            channel.QueueDeclare(Confirm_Queue, false, false, false, null);
            channel.QueueBind(Confirm_Queue,Confirm_Exchange,Confirm_Routingkey);
            return channel;
        }

生产者代码

在仅开启了生产者确认机制的情况下,交换机接收到消息后,会直接给消息生产者发送确认消息
果发现该消息不可路由,那么消息会被直接丢弃,此时生产者是不知道消息被丢弃这个事件的。那么如何
让无法被路由的消息帮我想办法处理一下?最起码通知我一声,好自己处理。通过设置mandatory参
数可以在当消息传递过程中不可达目的地时将消息返回给生产者

image.png

using rabbitmq.common;

using RabbitMQ.Client;

using System.Text;

namespace PublishConfirm.Producer
{
    public class Program
    {
        static void Main(string[] args)
        {
            Console.WriteLine("请输入要发送的消息:");
            string message = Console.ReadLine();

            if (string.IsNullOrEmpty(message))
            {
                while (true)
                {
                    Console.WriteLine("请输入要发送的消息: {0}", message);
                }
            }
            else
            {
                using var channel = RabbitmqUntils.GetConfirmAdvancedQueue();
                while (true)
                {
                    SendMsg(message, channel);
                    message = Console.ReadLine();
                    
                }
            }
            Console.ReadKey();
        }

        public static void SendMsg(string msg,IModel channel)
        {
            var body = Encoding.UTF8.GetBytes(msg);
            channel.ConfirmSelect();// 开启发布确认

            //演示Routingkey配置错误
            //如果发布了带有“mandatory” = true 标志集的消息,但无法传递,代理将其返回给发送客户端( channel.BasicReturn)。
            channel.BasicPublish(RabbitmqUntils.Confirm_Exchange, RabbitmqUntils.Confirm_Routingkey+"111", mandatory:true, null, body);
            // 监听确认的消息
            channel.BasicAcks += (sender, e) =>
            {
                Console.WriteLine($"交换机已收到:{e.DeliveryTag}");
            };

            //监听回退的消息
            channel.BasicReturn += ((sender, e) =>
            {
                var body = e.Body.ToArray();
                var msg = System.Text.Encoding.UTF8.GetString(body);
                Console.WriteLine($"监听回退的消息{msg};RoutingKey:{e.RoutingKey};退回原因:{e.ReplyText}");
            });
        }

        
    }
}

测试效果

image.png

备份交换机

有了mandatory参数和回退消息,我们获得了对无法投递消息的感知能力,有机会在生产者的消息无法被投递时发现并处理。但有时候,我们并不知道该如何处理这些无法路由的消息,最多打个日志,然后触发报警,再来手动处理。而通过日志来处理这些无法路由的消息是很不优雅的做法,特别是当生产者所在的服务有多台机器的时候,手动复制日志会更加麻烦而且容易出错。而且设置mandatory参数会增加生产者的复杂性,需要添加处理这些被退回的消息的逻辑。如果既不想丢失消息,又不想增加生产者的复杂性,该怎么做呢?前面在设置死信队列中,我们提到,可以为队列设置死信交换机来存储那些处理失败的消息,可是这些不可路由消息根本没有机会进入到队列,因此无法使用死信队列来保存消息。在RabbitMQ中,有一种备份交换机的机制存在,可以很好的应对这个问题。什么是备份交换机呢?备份交换机可以理解为RabbitMQ中交换机的“备胎”,当我们为某一个交换机声明一个对应的备份交换机时,就是为它创建一个备胎,当交换机接收到一条不可路由消息时,将会把这条消息转发到备份交换机中,由备份交换机来进行转发和处理,通常备份交换机的类型为Fanout,这样就能把所有消息都投递到与其绑定的队列中,然后我们在备份交换机下绑定一个队列,这样所有那些原交换机无法被路由的消息,就会都进入这个队列了。当然,我们还可以建立一个报警队列,用独立的消费者来进行监测和报警。

代码架构图

image.png

RabbitmqUntils.GetConfirmAdvancedQueue()方法增加代码

image.png

        /// <summary>
        /// 发布确认高级
        /// </summary>
        /// <returns></returns>
        public static IModel GetConfirmAdvancedQueue()
        {
            /*
                1. 声明confirm.exchange   type = direct
                2. 声明confirm.queue
                3. 声明confirm.routingkey
                4. 绑定队列与交换机
             */

            var channel = RabbitmqUntils.GetChannel();

            var arguments = new Dictionary<string, object>();
            arguments.Add("alternate-exchange",Back_Exchange);

            channel.ExchangeDeclare(Confirm_Exchange,"direct",true,false, arguments);
            channel.QueueDeclare(Confirm_Queue, false, false, false, null);
            channel.QueueBind(Confirm_Queue,Confirm_Exchange,Confirm_Routingkey);

            /*
               1. 声明backup.exchange type = fanout
               2. 声明backup.queue,warning.queue
               4. 绑定队列与交换机
               5. 配置确认交换机(Confirm_Exchange)转发到备份交换机(Back_Exchange)
            */
            channel.ExchangeDeclare(Back_Exchange, "fanout", true, false, null);
            channel.QueueDeclare(Back_Queue,false,false, false, null);
            channel.QueueDeclare(Warning_Queue,false,false, false, null);
            channel.QueueBind(Back_Queue, Back_Exchange, "");
            channel.QueueBind(Warning_Queue, Back_Exchange, "");

            return channel;
        }

生产者代码

image.png

using rabbitmq.common;

using RabbitMQ.Client;

using System.Text;

namespace PublishConfirm.Producer
{
    public class Program
    {
        static void Main(string[] args)
        {
            Console.WriteLine("请输入要发送的消息:");
            string message = Console.ReadLine();

            if (string.IsNullOrEmpty(message))
            {
                while (true)
                {
                    Console.WriteLine("请输入要发送的消息: {0}", message);
                }
            }
            else
            {
                var channel = RabbitmqUntils.GetConfirmAdvancedQueue();
                while (true)
                {
                    SendMsg(message, channel);
                    message = Console.ReadLine();
                    
                }
            }
            Console.ReadKey();
        }

        public static void SendMsg(string msg,IModel channel)
        {
            var body1 = Encoding.UTF8.GetBytes("路由正常_"+msg);
            var body2 = Encoding.UTF8.GetBytes("路由不正常_" + msg);
            channel.ConfirmSelect();// 开启发布确认
            channel.BasicPublish(RabbitmqUntils.Confirm_Exchange, RabbitmqUntils.Confirm_Routingkey, mandatory: true, null, body1);

            //演示Routingkey配置错误
            //如果发布了带有“mandatory” = true 标志集的消息,但无法传递,代理将其返回给发送客户端( channel.BasicReturn)。
            channel.BasicPublish(RabbitmqUntils.Confirm_Exchange, RabbitmqUntils.Confirm_Routingkey+"111", mandatory:true, null, body2);
            // 监听确认的消息
            channel.BasicAcks += (sender, e) =>
            {
                Console.WriteLine($"交换机已收到:{e.DeliveryTag}");
            };

            //监听回退的消息
            channel.BasicReturn += ((sender, e) =>
            {
                var body = e.Body.ToArray();
                var msg = System.Text.Encoding.UTF8.GetString(body);
                Console.WriteLine($"监听回退的消息{msg};RoutingKey:{e.RoutingKey};退回原因:{e.ReplyText}");
            });
        }  
    }
}

消费者者代码

using rabbitmq.common;

using RabbitMQ.Client;
using RabbitMQ.Client.Events;

using System.Text;

namespace PublishConfirm.Consumer
{
    public class Program
    {
        static void Main(string[] args)
        {
            if (args[0] == "client1")
            {
                ConfirmConsumer();
            } else if (args[0] == "client2")
            {
                BackupConsumer();
            }
            else if (args[0] == "client3")
            {
                WarningConsumer();
            }
            Console.ReadKey();
        }


        public static void ConfirmConsumer()
        {
            Console.WriteLine("ConfirmConsumer开始接受消息:");
            var channel = RabbitmqUntils.GetConfirmAdvancedQueue();
            var consumer = new EventingBasicConsumer(channel);
            channel.BasicConsume(RabbitmqUntils.Confirm_Queue, false, consumer);
            consumer.Received += ((sender, e) =>
            {
                var body = e.Body.ToArray();
                var message = Encoding.UTF8.GetString(body);
                Console.WriteLine($"ConfirmConsumer{DateTime.Now} 接收消息:{message}");
                channel.BasicAck(e.DeliveryTag, false);
            });
        }

        public static void BackupConsumer()
        {
            Console.WriteLine("BackupConsumer开始接受消息:");
            var channel = RabbitmqUntils.GetConfirmAdvancedQueue();
            var consumer = new EventingBasicConsumer(channel);
            channel.BasicConsume(RabbitmqUntils.Back_Queue, false, consumer);
            consumer.Received += ((sender, e) =>
            {
                var body = e.Body.ToArray();
                var message = Encoding.UTF8.GetString(body);
                Console.WriteLine($"BackupConsumer{DateTime.Now} 接收消息:{message}");
                channel.BasicAck(e.DeliveryTag, false);
            });
        }
        public static void WarningConsumer()
        {
            Console.WriteLine("WarningConsumer开始接受消息:");
            var channel = RabbitmqUntils.GetConfirmAdvancedQueue();
            var consumer = new EventingBasicConsumer(channel);
            channel.BasicConsume(RabbitmqUntils.Warning_Queue, false, consumer);
            consumer.Received += ((sender, e) =>
            {
                var body = e.Body.ToArray();
                var message = Encoding.UTF8.GetString(body);
                Console.WriteLine($"WarningConsumer{DateTime.Now} 接收消息:{message}");
                channel.BasicAck(e.DeliveryTag, false);
            });
        }
    }
}

测试效果

注意:测试时我们需要把原来的**confirm.queue**删除,因为我们修改了属性,否则会报错
image.png
mandatory参数与备份交换机可以一起使用的时候,如果两者同时开启,经过上面结果显示答案是备份交换机优先级高。