副本 策略 消息kafka
RocketMQ之消息接收源码分析
一、概述 对于任何一款消息中间件而言，消费者客户端一般有两种方式从消息中间件获取消息并消费： Push方式：由消息中间件(MQ消息服务器代理)主动地将消息推送给消费者；采用Push方式，可以尽可能实时地将消息发送给消费者进行消费。但是，在消费者的处理消息的能力较弱的时候(比如，消费者端的业务系统处理 ......
Semi-Join Subquery优化策略
Semi-Join Subquery优化策略 Semi-Join Subquery(半连接子查询)：对应IN或EXISTS子查询，仅需要检查"外表记录"在"子查询结果集"中是否存在匹配记录，不需要计算"子查询结果集"中记录匹配次数，也不需要返回"子查询结果集"中匹配记录内容 在MariaDB(MyS ......
RabbitMQ - 消息中间件
RabbitMQ - 消息中间件 1 消息队列Rabbitmq介绍 1.0 什么是消息队列 消息：指的是两个应用间传递的数据【字符串、对象等等】 消息队列：在消息的传输过程中保存消息的容器，在消息队列中游生产者和消费者两个角色 生产者：生产者只负责发送数据到消息队列 消费者：消费者只负责从消息队列中 ......
csrf跨站请求伪造与校验策略
一、csrf跨站请求伪造 概念引入 简介 我们通过模仿一个钓鱼网站来提现csrf跨站请求伪造。 钓鱼网站:模仿一个正规的网站 让用户在该网站上做操作 但是操作的结果会影响到用户正常的网站账户 但是其中有一些猫腻 eg:英语四六级考试需要网上先缴费 但是你会发现卡里的钱扣了但是却交到了一个莫名其妙的账 ......
消息队列Rabbitmq介绍、rabbitmq安装、基于queue实现生产者消费者、基本使用、消息安全(详见笔记)、持久化(详见笔记)、闲置消费(详见笔记)、发布订阅(详见笔记)、发布订阅高级之Routing(按关键字匹配)(详见笔记)
1 消息队列Rabbitmq介绍 # 消息队列 -中间件 （概念很大） 》准确一些叫消息队列中间件 -消息队列中间件 -使用redis当做消息队列来用 -blpop 阻塞式弹出，实现队列，先进先出 # MQ ,消息队列，MessageQueue 是什么 消息队列就是基础数据结构中的“先进先出”的一种 ......
RocketMQ之消息轨迹
一、概述 消息轨迹是用来跟踪记录消息发送、消息消费的轨迹。 如何启用消息轨迹？ broker端 需要在broker端的配置文件中添加配置项：traceTopicEnable=true，注意：对于消息轨迹数据量较大的场景，可以在RocketMQ集群中选择其中一个Broker节点专用于存储消息轨迹，使得 ......
filebeat+kafka_logstash+es进行日志分析
filebeat+kafka_logstash+es进行日志分析 目录 一. 将安装包上传至目标服务器(即日志所在的服务器) 二. 解压安装 三. 配置filebeat 1. 配置采集日志到logstash,这种配置适用于日志量较小的场景,Filebeat > logstash,logstash直接 ......
本地消息表模式
分布式事务 | 使用 dotnetcore/CAP 的本地消息表模式 本地消息表模式 本地消息表模式，其作为柔性事务的一种，核心是将一个分布式事务拆分为多个本地事务，事务之间通过事件消息衔接，事件消息和上个事务共用一个本地事务存储到本地消息表，再通过定时任务轮询本地消息表进行消息投递，下游业务订阅消 ......
Rabbitmq 介绍 、安装、基于Queue实现生产者消费者模型、基本使用、消息安全之ack、durable持久化、利用闲置消费、发布订阅、发布订阅高级之Royting(按关键字匹配)、Topic关键字模糊匹配、基于rabbitmq实现rpc
==师承老刘llnb== ==一、消息队列介绍== 1.1介绍 消息队列就是基础数据结构中的“先进先出”的一种数据机构。想一下，生活中买东西，需要排队，先排的人先买消费，就是典型的“先进先出” 1.2MQ解决什么问题 MQ是一直存在，不过随着微服务架构的流行，成了解决微服务之间问题的常用工具。 应用 ......
Kafka基础阶段与集群搭建详细教程
Kafka第一天课堂笔记 一.Kafka简介 1.1消息队列 消息队列——用于存放消息的组件 程序员可以将消息放入到队列中，也可以从消息队列中获取消息 很多时候消息队列不是一个永久性的存储，是作为临时存储存在的（设定一个期限：设置消息在MQ中保存10天） 消息队列中间件：消息队列的组件，例如：Kaf ......
消息中间件RabbitMQ
Rabbitmq 之前我是使用redis当做消息队列来使用，因为队列是先进先出的数据结构，有个方法 blpop阻塞式弹出实现队列，但是使用redis当做中间件是不专业的，而Rabbitmq来作为消息中间件是专业的 消息队列解决了 1.应用解耦 多个应用使用消息队列做缓存.任务存放在消息队列中。应 ......
C#操作kafka
1.手动设置TopicPartition=>offset //手动设置TopicPartition=>offset foreach (TopicPartition partition in consumer.Assignment) { if (partition.Partition.Value == ......
开源项目消息推送平台Austin
开源项目消息推送平台Austin终于要上线了，迎来在线演示的第一版！ 🔥项目在线演示地址：http://139.9.73.20:3000/ 消息推送平台🔥推送下发【邮件】【短信】【微信服务号】【微信小程序】【企业微信】【钉钉】等消息类型。 https://gitee.com/zhongfuche ......
Kafka2.4安装与配置
一、安装zookeeper集群 1、安装jdk1.8 2、下载apache-zookeeper-3.5.7-bin.tar.gz并解压 第1台机器： mkdir /usr/local/zookeeper/data mv /usr/local/zookeeper/conf/zoo_sample.cfg ......
python dingtalk钉钉群告警消息发布
##python dingtalk钉钉群告警消息发布 公司用oprator部署的prometheus，理论上时可以直接通过alertmanager的配置。通过钉钉机器人的webhook向群里发送告警信息。但是想要格式化输出格式，并且规范化就成了问题。因为每个人都有部署exporter的权限，我不能保 ......
SpringBoot中策略模式+工厂模式业务实例(接口传参-枚举类查询策略映射关系-执行不同策略)规避大量if-else
场景 设计模式-策略模式在Java中的使用示例： https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/127622238 上面讲了策略模式在Java中的使用示例。 下面看一个在SpringBoot中的实际使用示例。 业务场景: 有多个煤 ......
JDK导致ActiveMQ、Kafka连接zookeeper失败：Session 0x0 for server 10.1.21.244/<unresolved>:2181, unexpected error, closing socket connection and attempting reconnect
最近在部署一套ActiveMQ集群时，使用zookeeper来实现，zookeeper启动了，在启动ActiveMQ时，抛出异常： WARN | Session 0x0 for server 10.1.21.244/<unresolved>:2181, unexpected error, closi ......
Java中使用枚举类和switch实现映射存储的类似策略模式实现定制化流程
场景 设计模式-策略模式在Java中的使用示例： https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/127622238 上面讲了策略模式在Java中的使用示例。 但是在有些场景下不需要严格的规则区分，只需要根据传递的参数以及自定义存储 ......
消息订阅
填报接口修改： 每周填报和月季填报的差不多的，都是要相隔一周或者一个月来进行填写的。如果在短期内连续的两次填报的话，会出现消息填写，就是要写这个填报要在一周或者一个月后才能继续填报。但是其中的判断是挺多的，首先你要判断这个每周填报是否是第一次填写，就要去数据库中找到weeklyTime是否为空，否则 ......
RocketMQ笔记(十一)：消息存储删除机制
RocketMQ的消息采用文件进行持久化存储。 1、存储目录详情 RocketMQ中默认文件存储位置/root/store，文件详情如下 commitLog：消息存储目录 config：运行期间一些配置信息 consumerqueue：消息消费队列存储目录 index：消息索引文件存储目录 chec ......
RocketMQ笔记(十)：事务消息
事务消息官网：RocketMQ官网 - 事务消息。 一、什么是事务消息 事务消息是 RocketMQ 提供的一种消息类型，支持在分布式场景下保障消息生产和本地事务的最终一致性。 二、事务消息的原理 2.1、事务消息的生命周期 2.1.1、初始化 半事务消息被生产者构建并完成初始化，待发送到服务端的状 ......
RocketMQ笔记(九)：延时/定时消息
一、什么是延时/定时消息 定时/延时消息为 RocketMQ 中提供的一种消息类型。定时消息和延时消息本质相同，都是服务端根据消息设置的定时时间在某一固定时刻将消息投递给消费者消费。 Producer将消息发送到消息队列 RocketMQ 服务端，但并不期望这条消息立马投递（被消费者消费），而是延迟 ......
RocketMQ笔记(八)：顺序消息
一、什么是顺序消息 消息有序指的是可以按照消息的发送顺序来消费(FIFO)。 顺序消息是 RocketMQ 提供的一种消息类型，支持消费者按照发送消息的先后顺序获取消息。顺序消息在发送、存储和投递的处理过程中，强调多条消息间的先后顺序关系。RocketMQ 顺序消息的顺序关系通过消息组（Messag ......
RocketMQ笔记(七)：普通消息
普通消息为 RocketMQ 中最基础的消息，支持生产者和消费者的异步解耦通信。 一、普通消息的生命周期 1、初始化 消息被生产者构建并完成初始化，待发送到服务端的状态。 2、待消费 消息被发送到服务端，对消费者可见，等待消费者消费的状态。 3、消费中 消息被消费者获取，并按照消费者本地的业务逻辑进 ......
消息推送平台终于要发布啦！
我的开源项目消息推送平台Austin终于要上线了，迎来在线演示的第一版！ 🔥项目在线演示地址：http://139.9.73.20:3000/ 消息推送平台🔥推送下发【邮件】【短信】【微信服务号】【微信小程序】【企业微信】【钉钉】等消息类型。 https://gitee.com/zhongfuc ......
C# 入门 Kafka
从 C# 入门 Kafka 目录 1, 搭建 Kafka 环境 安装 docker-compose 单节点 Kafka 的部署 Kafka 集群的部署 2, Kafka 概念 基本概念 关于 Kafka 脚本工具 主题管理 使用 C# 创建分区 分区与复制 生产者消费者 修改配置 3, Kafka ......
mybatis批量插入支持默认值和自定义id生成策略的免写sql插件
最近做项目时用了免写sql的插件但是发现批量操作不满足现有需求。所以，在原有基础之上扩展了批量的操作支持[支持插入默认值和自定义id生成策略]。使用方法如下： 一：在pom文件中引入jar配置 <dependency> <groupId>io.gitee.wang_ming_yi</groupId> ......
springboot~SSE做消息推送
一、SSE是什么？ SSE技术是基于单工通信模式，只是单纯的客户端向服务端发送请求，服务端不会主动发送给客户端。服务端采取的策略是抓住这个请求不放，等数据更新的时候才返回给客户端，当客户端接收到消息后，再向服务端发送请求，周而复始。 注意：因为EventSource对象是SSE的客户端，可能会有浏览 ......
RocketMQ之消息存储
一、概述 消息持久化存储是MQ消息队列中最为复杂和最为重要的一部分，本文先从目前几种比较常用的MQ消息队列存储方式出发，为大家介绍RocketMQ选择磁盘文件存储的原因。然后，本文分别从RocketMQ的消息存储整体架构和RocketMQ文件存储模型层次结构两方面进行深入分析介绍。使得大家读完本文后 ......
.Net6基于IdentityServer4配置服务授权以及策略授权
在上一篇中，配置了认证授权服务。这篇配置接口访问时进行授权 新建一个名为Web.API.Test的.Net6项目，引用包源IdentityServer4.AccessTokenValidation Program注入 using Microsoft.AspNetCore.Authentication ......