链路 分布式opentelemetry rocketmq
分布式场景下，如何对外提供易变的服务，打造可靠的注册中心？
摘要：本文讲了关于服务发现的很多干货内容，核心内容为服务发现组件的选择、网关的介绍、 客户端侧如何发给已发现的服务。 本文分享自华为云社区《分布式场景下，如何对外提供易变的服务，打造可靠的注册中心？》，作者：breakDawn。 随着云原生的概念越来越火，服务的架构应该如何发展和演进，成为很多程序员 ......
RocketMQ之消息轨迹
一、概述 消息轨迹是用来跟踪记录消息发送、消息消费的轨迹。 如何启用消息轨迹？ broker端 需要在broker端的配置文件中添加配置项：traceTopicEnable=true，注意：对于消息轨迹数据量较大的场景，可以在RocketMQ集群中选择其中一个Broker节点专用于存储消息轨迹，使得 ......
RocketMQ之通信机制
一、概述 RocketMQ消息队列集群主要包括NameServer、Broker(Master/Slave)、Producer、Consumer4个角色，基本通讯流程如下： Broker启动后需要完成一次将自己注册至NameServer的操作；随后每隔30s时间定时向NameServer上报Topi ......
RocketMQ之重试机制
一、概述 Producer对发送失败的消息进行重新发送的机制，称为消息发送重试机制，也称为消息重投机制。 对于消息重投，需要注意以下几点： 生产者在发送消息时，若采用同步或异步发送方式，发送失败会重试，但oneway消息发送方式发送失败是没有重试机制的; 只有普通消息具有发送重试机制，顺序消息是没有 ......
hadoop 3.3.5伪分布式集群部署
hadoop包下载 https://archive.apache.org/dist/hadoop/common/ 安装好jdk并配置环境变量 下载hadoop压缩包并放至 /data/hadoop目录 解压 tar -zxvf hadoop-3.3.5.tar.gz 1配置 1.1在Hadoop安装 ......
RocketMQ Helm模板增加ACL认证
RocketMQ版本：4.9.2 具体请按实际场景进行修改 修改rocketmq/templates/broker/configmap.yaml data: broker-base.conf: | brokerClusterName = {{ .Values.clusterName }} aclEn ......
RocketMQ开启ACL认证Go连接测试
RocketMQ开启ACL认证连接测试 导入包 go get -u github.com/apache/rocketmq-client-go/v2 go get -u github.com/spf13/pflag 查看go.mod module your_module_name go 1.16 re ......
5 离散概率分布的运用：善用期望
随机变量与变量 概率分布描述了一个给定变量的所有可能结果的概率; 随机变量是一个可以等于一系列数值的变量，而这一系列数值中的每一个值都与一个特定概率相关联; 在肥蛋赌场Tiger机这个例子中，随机变量代表我们将在每一局赌局中赢得的收益; 随机变量通常用大写字母表示，如X或Y; 变量能够采用的特定数值 ......
分布式系统唯一ID生成方案汇总
系统唯一ID是我们在设计一个系统的时候常常会遇见的问题，也常常为这个问题而纠结。生成ID的方法有很多，适应不同的场景、需求以及性能要求。所以有些比较复杂的系统会有多个ID生成的策略。下面就介绍一些常见的ID生成策略。 1. 数据库自增长序列或字段 最常见的方式。利用数据库，全数据库唯一。 优点： 1 ......
【IT老齐019】Seata分布式事务解决方案
【IT老齐019】Seata分布式事务解决方案 Seata 是一款开源的分布式事务解决方案，致力于在微服务架构下提供高性能和简单易用的分布式事务服务。在 Seata 开源之前，其内部版本在阿里系内部一直扮演着应用架构层数据一致性的中间件角色，帮助经济体平稳的度过历年的双11，对上层业务进行了有力的技 ......
rocketmq启动nameserver的坑
当你启动rocketmq时可以启动但找不到日志时： 第一：减小JVM的内存 其次：要到bin目录中输入启动命令。 楼主就是第二步解决的 ......
分布式系统复习
这啥玩意都没讲的课要考了。。。 1. 云计算与大数据 1.1 云计算的3个服务模型 IaaS，基础设施即服务 PaaS，平台即服务 SaaS，软件即服务 云计算的3中服务模型之间的关系：IaaS提供虚拟化的硬件资源，支撑PaaS对平台的虚拟化，而PaaS又支撑了SaaS对软件的虚拟化。 1.2 DI ......
分布式架构-API网关
参考：https://developer.aliyun.com/article/1199004?utm_content=g_1000371169 API网关核心能力 统一域名证书 鉴权：访问认证鉴权、JWT鉴权（Token）、第三方鉴权（用户配置自己的鉴权服务为API的访问进行鉴权，API网关在调用 ......
深入理解 slab cache 内存分配全链路实现
本文源码部分基于内核 5.4 版本讨论 在经过上篇文章 《从内核源码看 slab 内存池的创建初始化流程》 的介绍之后，我们最终得到下面这幅 slab cache 的完整架构图： 本文笔者将带大家继续从内核源码的角度继续拆解 slab cache 的实现细节，接下来笔者会基于上面这幅 slab ca ......
RocketMQ消费者是如何负载均衡的
摘要：RocketMQ 支持两种消息模式：集群消费（ Clustering ）和广播消费（ Broadcasting ）。 本文分享自华为云社区《一文讲透RocketMQ消费者是如何负载均衡的》，作者：勇哥java实战分享。 RocketMQ 支持两种消息模式：集群消费（ Clustering ）和 ......
分布式光监测系统的应用
安科瑞虞佳豪 分布式光伏发电系统应用范围：可在农村、牧区、山区，发展中的大、中、小城市或商业区附近建造，解决当地用户用电需求。 分布式光伏发电系统，又称分散式发电或分布式供能，是指在用户现场或靠近用电现场配置较小的光伏发电供电系统，以满足特定用户的需求，支持现存配电网的经济运行，或者同时满足这两个方 ......
RocketMQ笔记(十一)：消息存储删除机制
RocketMQ的消息采用文件进行持久化存储。 1、存储目录详情 RocketMQ中默认文件存储位置/root/store，文件详情如下 commitLog：消息存储目录 config：运行期间一些配置信息 consumerqueue：消息消费队列存储目录 index：消息索引文件存储目录 chec ......
RocketMQ笔记(十)：事务消息
事务消息官网：RocketMQ官网 - 事务消息。 一、什么是事务消息 事务消息是 RocketMQ 提供的一种消息类型，支持在分布式场景下保障消息生产和本地事务的最终一致性。 二、事务消息的原理 2.1、事务消息的生命周期 2.1.1、初始化 半事务消息被生产者构建并完成初始化，待发送到服务端的状 ......
RocketMQ笔记(九)：延时/定时消息
一、什么是延时/定时消息 定时/延时消息为 RocketMQ 中提供的一种消息类型。定时消息和延时消息本质相同，都是服务端根据消息设置的定时时间在某一固定时刻将消息投递给消费者消费。 Producer将消息发送到消息队列 RocketMQ 服务端，但并不期望这条消息立马投递（被消费者消费），而是延迟 ......
RocketMQ笔记(八)：顺序消息
一、什么是顺序消息 消息有序指的是可以按照消息的发送顺序来消费(FIFO)。 顺序消息是 RocketMQ 提供的一种消息类型，支持消费者按照发送消息的先后顺序获取消息。顺序消息在发送、存储和投递的处理过程中，强调多条消息间的先后顺序关系。RocketMQ 顺序消息的顺序关系通过消息组（Messag ......
RocketMQ笔记(七)：普通消息
普通消息为 RocketMQ 中最基础的消息，支持生产者和消费者的异步解耦通信。 一、普通消息的生命周期 1、初始化 消息被生产者构建并完成初始化，待发送到服务端的状态。 2、待消费 消息被发送到服务端，对消费者可见，等待消费者消费的状态。 3、消费中 消息被消费者获取，并按照消费者本地的业务逻辑进 ......
RocketMQ笔记(六)：示例代码工具类
引入RocketMQ客户端的maven依赖： <dependency> <groupId>org.apache.rocketmq</groupId> <artifactId>rocketmq-client</artifactId> <version>5.0.0</version> </depende ......
RocketMQ笔记(五)：搭建RocketMQ运行环境
详细部署方式可以参考官网：官网RocketMQ部署方式。 一、环境准备 1.1、JDK环境准备 详情参考：Linux搭建JDK环境。 1.2、RocketMQ准备 1、下载RocketMQ 下载RocketMQ地址：rocketmq-all-4.7.1-bin-release.zip。 2、将Roc ......
Celery - 分布式任务队列
Celery - 分布式任务队列 1 celery简介 1.1 什么是celery Celery是一个用Python编写的分布式任务队列框架。它允许开发者将任务分发到多台服务器或进程中执行，从而实现高效的异步任务处理。 Celery框架基于消息传递实现，任务可以在多个节点之间异步传递和执行，这大大提 ......
使用篇丨链路追踪（Tracing）很简单：链路拓扑
通过调用链聚合，综合分析端到端流量路径与状态的方法就是链路拓扑。链路拓扑与调用链的关系就好比样本集与离散样本点，前者反映了整体的分布情况，可以有效避免单个样本随机性对评估结果的影响。 ......
RocketMQ之消息存储
一、概述 消息持久化存储是MQ消息队列中最为复杂和最为重要的一部分，本文先从目前几种比较常用的MQ消息队列存储方式出发，为大家介绍RocketMQ选择磁盘文件存储的原因。然后，本文分别从RocketMQ的消息存储整体架构和RocketMQ文件存储模型层次结构两方面进行深入分析介绍。使得大家读完本文后 ......
RocketMQ(四)：RocketMQ概览
一、普通消息 普通消息为 RocketMQ 中最基础的消息，区别于有特性的顺序消息、定时/延时消息和事务消息 普通消息一般应用于微服务解耦、事件驱动、数据集成等场景，这些场景大多数要求数据传输通道具有可靠传输的能力，且对消息的处理时机、处理顺序没有特别要求。 1、普通消息典型应用场景 1.1、微服务 ......
分布式有状态服务的调度技术预研报告
1. 研究项目背景 平台版本建设中，为了充分发挥视频分析引擎性能，需要针对业务特点，现有的分布式调用方式无法满足需求，需要研究分布式服务的有状态调用实现。 2. 技术现状分析 2.1 分布式有状态服务调度技术的发展历程 固定分配 最初的分布式有状态服务调度技术采用固定分配的方式，即将每个服务实例分配 ......
8 07 | 海量数据处理技术回顾：为什么分布式会遇到 CAP 难题？
你好，我是李智慧。 在这个模块的几个案例中，我们都需要处理海量的数据，需要用到海量的存储介质，其实海量数据本质上就是一种磁盘资源敏感的高并发场景。 我们说过，为了应对资源不足的问题，我们常采用水平伸缩，即分布式的方案。数据存储的分布式问题是所有分布式技术中最具挑战性的，因为相对于“无状态”（stat ......