消息
使用Netty框架完成客户端和服务端收发Protobuf消息
前言 本周继续学习尼恩编著的《Netty、Redis、ZooKeeper高并发实战》，一些资源也贴在这里，自己以后想看还可以找到，这个是在博客园的一个入口https://www.cnblogs.com/crazymakercircle/p/9904544.html。 这周主要学习了Netty客户端和 ......
java——spring boot集成kafka——单播与多播消息的实现
单播消息的实现： 单播消息：⼀个消费组⾥ 只会有⼀个消费者能消费到某⼀个topic中的消息。于是可以创建多个消费者，这些消费者在同⼀个消费组中。 创建一个消费者，此消费者属于消费组testGroup，获取borker为：10.31.167.10:9092中 主题为test的消息； ./kafka-c ......
如何保障消息中间件100%消息投递成功？如何保证消息幂等性？
我们应该都听说够消息中间件MQ，如：RabbitMQ，RocketMQ，Kafka等。引入中间件的好处可以起到抗高并发，削峰，业务解耦的作用。 如图： （1）订单服务投递消息给MQ中间件 （2）物流服务监听MQ中间件消息，从而进行消费 如何保障订单服务把消息成功投递给MQ中间件，以RabbitMQ举 ......
如何保证消息在99.99%的情况下不丢失
简介 MQ虽然帮我们解决了很多问题，但是也带来了很多问题，其中最麻烦的就是，如何保证消息的可靠性传输。 我们在聊如何保证消息的可靠性传输之前，先考虑下哪些情况下会出现消息丢失的情况。 首先，上图中完整的展示了消息从生产到被消费的完整链路，我们通过图列举下各种情况。 Producer在把Message ......
DLL注入-Windows消息钩取
0x01 钩子 钩子，英文Hook，泛指钓取所需东西而使用的一切工具。后来延伸为“偷看或截取信息时所用的手段或工具”。 挂钩：为了偷看或截取来往信息而在中间设置岗哨的行为 钩取：偷看或操作信息的行为 0x02 消息钩子 敲击键盘时，消息会从OS（Operating System的简称）移动到应用程序 ......
Redis消息队列的使用与详解
一、Redis基本介绍 Redis消息队列是基于Redis的Pub/Sub(发布/订阅)功能实现的一种轻量级消息队列。Redis消息队列主要用于解耦生产者和消费者，将生产者产生的数据异步地发送给消费者，从而提高系统的并发能力和处理效率。在分布式系统中，Redis消息队列也可以用于实现分布式事务、分布 ......
springcloud Stream整合rabbitmq消息驱动生产者踩坑
消息驱动之生产者8801(踩坑记录) 1.首先说一下情况，我是跟着尚硅谷周阳老师的springcloud2020教程学习的，前面也踩了不少坑，但是这个坑，是我找的比较久的坑了，所以希望大家能直接看到我这个，顺顺利利学习下去哈哈哈！ 2.pom文件 <?xml version="1.0" encodi ......
UDP消息发送
package edu.wtbu;import java.io.IOException;import java.net.DatagramPacket;import java.net.DatagramSocket;import java.net.SocketException;public class ......
消息队列之日志处理
消息队列之日志处理 应用场景： 大型电商网站（淘宝、京东、国美、苏宁...）、App（抖音、美团、滴滴等）等需要分析用户行为，要根据用户的访问行为来发现用户的喜好以及活跃情况，需要在页面上收集大量的用户访问信息。 ......
消息队列之流量削峰
消息队列之流量削峰 应用场景： 每天 0:00 到 12:00，A 系统风平浪静，每秒并发请求数量就 50 个。结果每次一到 12:00 ~ 13:00 ，每秒并发请求数量突然会暴增到 5k+ 条。但是系统是直接基于 MySQL 的，大量的请求涌入 MySQL，每秒钟对 MySQL 执行约 5k 条 ......
消息队列之异步处理
消息队列之异步处理 一般互联网类的企业，对于用户直接的操作，一般要求是每个请求都必须在 200 ms 以内完成，对用户几乎是无感知的。 应用场景： A 系统接收一个请求，需要在自己本地写库，还需要在 BCD 三个系统写库，自己本地写库要 3ms，BCD 三个系统分别写库要 300ms、450ms、2 ......
消息队列之系统解耦
消息队列之系统解耦 A 系统产生一条数据，发送到 MQ 里面去，哪个系统需要数据自己去 MQ 里面消费。如果新系统需要数据，直接从 MQ 里消费即可；如果某个系统不需要这条数据了，就取消对 MQ 消息的消费即可。这样下来，A 系统压根儿不需要去考虑要给谁发送数据，不需要维护这个代码，也不需要考虑人家 ......
深入消息队列MQ，看这篇就够了！
大厂面试爱问消息队列 MQ。因为消息队列MQ，既是大型分布式系统不可缺少的中间件，也是高并发系统的基石中间件。如果你想要快速掌握消息队列 MQ 最内核的知识，以及消息队列MQ的主流应用场景、主流产品与选型、设计一个消息队列MQ方法......推荐查看并收藏本篇，基本上都讲齐全了。下面我将通过图文并茂 ......
MFC-PostThreadMessage向指定线程发送消息
#define WM_MyMessage (WM_USER+100) //自定义消息号 UINT funcw(LPVOID pParam) //写线程 { DWORD ID = (DWORD)pParam; //获取读线程ID int n = 0; for (int i=0;i<1000;i++) ......
kafka消息堆积，consumer掉线
注：本文转自：https://www.toutiao.com/article/7160323779812983296/?log_from=5abd712547149_1679497545032 线上kafka消息堆积，所有consumer全部掉线，到底怎么回事？ 最近处理了一次线上故障，具体故障表现 ......
Linus Torvalds的重大消息
Linux创始人Linus Torvalds在内核邮件列表上宣布正式释出Linux Kernel 4.9，这个版本被称为时尚改进最大的版本，同时4.10合并窗口已经开启。但值得注意的是，为期两周的合并窗口预计将在圣诞节这天关闭，因为假期的原因Torvalds考虑缩短或延长合并窗口，最有可能的做法是缩 ......
解决Kafka总是丢消息的方法和原理
注：本文转自：https://www.toutiao.com/article/7210953985497678347/?log_from=f0ecce317abb8_1679450040551 引入 MQ 消息中间件最直接的目的：系统解耦以及流量控制（削峰填谷）。 系统解耦： 上下游系统之间的通信相 ......
golang解决kafka消息丢失
Kafka是一个高吞吐量的分布式发布订阅消息系统，由于其高效的消息传递机制，被广泛应用于大规模数据处理、日志收集和实时数据流处理等场景中。但是，由于网络、硬件等原因，Kafka的消息有时可能会出现丢失的情况。下面是一些Go语言中解决Kafka消息丢失问题的方法： 1.设置合适的Kafka配置 在创建 ......
golang解决kafka消息重复发送和重复消费
1、解决消息重复发送 当使用Kafka生产者发送消息时，可以设置消息的Key，使用Key来保证相同Key的消息不会被重复发送。在发送消息时，可以使用带Key的消息发送方式，如下所示： msg := &sarama.ProducerMessage{ Topic: "test", Partition: ......
C++ 简易消息循环
前言 本文将向大家介绍如何使用 C++ 的标准库实现一个异步和并发编程中都非常重要的编程模式：消息循环（Event Loop）。尽管市面上存在不少库也提供了同样的功能，但有时候出于一些原因，我们并不想引入外部库，就想要一个小巧、只使用 C++ 标准库的实现。 话不多说，上代码 using sys_c ......
消息中心
using System;using System.Collections;using System.Collections.Generic;using UnityEngine;/// <summary>/// 消息中心/// 主要是为了解除耦合性 /// </summary>public clas ......
浅谈分布式环境下WebSocket消息共享问题
浅谈分布式环境下WebSocket消息共享问题 技术分析 我们在开发时会遇到需要使用即时通讯的场景，当然，实现方式很多，Socket、MQTT、Netty....等等。 具体用哪种就在于业务的需求了，去选择合理的方式实现。 今天小简要聊的场景便是分布式环境下，WebSocket的消息共享问题。 分布 ......
为什么不建议用redis做消息队列
redis的list做队列其实还是很爽的，简单，一个读一个写即可，而且基本每个系统都会使用redis，接入没有附加成本，也没有额外的学习成本。 如果需要订阅模型，写三个队列，然后三个消费者分别读自己的那个即可。 但是，也有一些问题： 无法回放，消费了即消失，没有记录。 消息体如果很大，会占用很多内存 ......
消息 7347，级别 16， 链接服务器 'XXX' 的 OLE DB 访问接口 'MSDASQL' 返回的数据与列 '[MSDASQL].ext' 所需的数据长度不匹配。所需的(最大)数据长度为 510，但返回的数据长度为 5570。
消息 7347，级别 16，状态 1，第 174 行链接服务器 'XXX' 的 OLE DB 访问接口 'MSDASQL' 返回的数据与列 '[MSDASQL].ext' 所需的数据长度不匹配。所需的(最大)数据长度为 510，但返回的数据长度为 5570。 ......
MQ消息中间件，面试能问写什么？
为什么使用消息队列 消息队列的常见使用场景有很多但是核心的有三个：解耦、异步、削峰 解耦：那种不需要直接同步调用接口的，可以考虑异步化解耦 异步：主业务执行结束后从属业务通过MQ，异步执行，减低业务的响应时间 削峰：高并发场景下，延缓用户请求，环节应用压力 消息队列的优点和缺点？ 优点： 特殊场景下 ......
消息队列
消息队列，顾名思义，就是传递消息的队列 消息队列有哪些应用 系统解耦 设计模式中有一个开闭原则，指的是软件实体应该对扩展开放、对修改关闭，尽量保持系统之间的独立，这里面蕴含的是解耦思想。而消息队列的使用，可以认为是在系统中隐含地加入了一个对外的扩展接口，能够方便地对业务进行解耦，调用方只需要发送消息 ......
RabbitMQ消息队列搭建以及迁移
一、RabbitMQ框架 rabbitmq系统架构图 通过路由将交换机和队列进行绑定，从而实现消息的发送和接收 rabbitmq基本概念 1、Message（消息） 消息是不具名的，它由消息头和消息体组成。消息体是不透明的，而消息头则由一系列的可选属性组成，这些属性包括routing-key（路由键 ......
太坑了，我竟然从RocketMQ源码中扒出了7种导致消息重复消费的原因
大家好，我是三友~~ 在众多关于MQ的面试八股文中有这么一道题，“如何保证MQ消息消费的幂等性”。 为什么需要保证幂等性呢？是因为消息会重复消费。 为什么消息会重复消费？ 明明已经消费了，为什么消息会被再次被消费呢？ 不同的MQ产生的原因可能不一样 本文就以RocketMQ为例，来扒一扒Rocket ......