链路 分布式opentelemetry rocketmq
云原生 | 从零开始，Minio 高性能分布式对象存储快速入手指南
对象存储（Object Storage）是一种存储数据的计算机体系结构，它以对象的形式存储和管理数据。与传统的文件系统和块存储不同，对象存储将数据作为对象存储在分布式的存储集群中，每个对象都有一个唯一的标识符（通常是一个URL），并且可以通过这个标识符来访问和检索数据。 ......
分布式设计模式和方法论
一、设计模式 1. 可用性 可用性是系统运行和工作的时间比例，通常以正常运行时间的百分比来衡量，它可能受系统错误，基础架构问题，恶意攻击和系统负载的影响。 健康检查：系统实现全链路功能检查，外部工具定期通过公开端点访问系统 负载均衡：使用队列起到削峰作用，作为请求和服务之间的缓冲区，以平滑间歇性的重 ......
博学谷学习记录 自我总结 用心分享 | RocketMQ刨析
RocketMQ是一个分布式开放消息中间件，底层基于队列模型来实现消息收发功能。RocketMQ集群中包含4个模块：Namesrv, Broker, Producer, Consumer。 主要功能 削峰填谷(主要解决瞬时写压力大于应用服务能力导致消息丢失、系统奔溃等问题) 系统解耦(解决不同重要程 ......
【RocketMQ】RocketMQ 5.0新特性（二）- Pop消费模式
Pop模式消费和消息粒度负载均衡 在RocketMQ 5.0之前，消费有两种方式可以从Broker获取消息，分别为Pull模式和Push模式。 Pull模式：消费需要不断的从阻塞队列中获取数据，如果没有数据就等待，这个阻塞队列中的数据由消息拉取线程从Broker拉取消息之后加入的，所以Pull模式下 ......
Hadoop2伪分布式安装
最近有观看我主讲的《Hadoop基础与演练》课程的同学问到Hadoop环境到底应该怎么安装。Hadoop的安装其实非常的简单，网上有很多教程，官网也有示例。但是可能部分同学对于linux不太熟悉，导致安装的时候会遇到各种问题，打击学习激情。本文就来详细的讲解一下如何配置Hadoop2的伪分布式环境， ......
使用 OpenTelemetry 构建 .NET 应用可观测性（4）：ASP.NET Core 应用中集成 OTel
目录前言使用 elastic 构建可观测性平台在 ASP.NET Core 应用中集成 OTel SDK安装依赖基础配置Instrumentation 配置创建自定义 Span 和 Metric完整的代码演示kibana 中查看数据TracingMetricsTracing 和 Logs 的关联 前 ......
分布式场景
一、分布式文件系统 常用的分布式文件系统：HDFS（Hadoop Distributed File System） HDFS是Apache Hadoop生态系统中的分布式文件系统，用于存储和管理大规模数据集。它是为了支持大数据处理和分析而设计的，具有高容错性、高可靠性和高可扩展性的特点。它采用了主从 ......
Redis学习之Redisson实现分布式锁
Redisson实现分布式锁 Redisson 是 Java 的 Redis 高级客户端，提供了各种现成的分布式工具类便于我们使用 Redis。 官网：https://github.com/redisson/redisson 中文文档：https://github.com/redisson/redi ......
Docker启动jaeger链路追踪，并在kratos中使用jaeger
1. 拉取并启动docker镜像 docker run --rm --name jaeger \ -e COLLECTOR_ZIPKIN_HOST_PORT=:9411 \ -p 6831:6831/udp \ -p 6832:6832/udp \ -p 5778:5778 \ -p 16686:1 ......
Spring Cloud 中的分布式组件五花八门，我到底该怎么学？
分布式架构的演进 在软件行业，一个应用服务随着功能越来越复杂，用户量越来越大，尤其是互联网行业流量爆发式的增长，导致我们需要不断的重构应用的结构来支撑庞大的用户量，最终从一个简单的系统主键演变成了一个非常复杂的可以支撑高并发的高可用的分布式架构，但是一个系统再复杂也是不断演变来的，所以从另一方面来说 ......
主从、集群、分布式的区别
主从、集群和分布式是计算机系统中常见的架构模式，它们有不同的特点和用途： 主从（Master-Slave）： 主从架构是一种单点控制的架构，其中有一个主节点和一个或多个从节点。 主节点通常负责处理所有的请求和决策，而从节点用于执行主节点分派的任务或保存数据的备份副本。 主从架构通常用于提高系统的可用 ......
分布式缓存
分布式缓存可以使用Redis或者Redisson实现，具体选择哪个取决于你的具体需求和场景。 如果你的场景比较简单，只需要一个高效的缓存系统，那么使用Redis就足够了。Redis是一个非常流行的内存数据库，具有高性能、高可用性、丰富的数据结构和灵活的配置等优点。在分布式缓存方面，Redis通过集群 ......
生成有相关性的满足标准正态分布的2组随机数
##from scipy.stats import normimport matplotlib.pyplot as pltimport pandas as pdimport numpy as npp=0.7e1=np.random.normal(loc=0,scale=1,size=100)e2=n ......
.NET微服务系列之Saga分布式事务案例实践
自从Wing正式发布以后，很多童鞋反馈对Saga分布式事务比较感兴趣，今天就跟大家分享一下“跨行转账”的分布式事务实践案例，入门使用教程请自行前往Wing官方文档。 假设自己名下有“中国农业银行（ABC）”和“中国工商银行（ICBC）”的账户余额各1万元，现在从“ABC”跨行转账1000元到“ICB ......
RocketMQ为什么要保证订阅关系一致
这篇文章，笔者想聊聊 RocketMQ 最佳实践之一：保证订阅关系一致。 订阅关系一致指的是同一个消费者 Group ID 下所有 Consumer 实例所订阅的 Topic 、Tag 必须完全一致。 如果订阅关系不一致，消息消费的逻辑就会混乱，甚至导致消息丢失。 1 订阅关系演示 首先我们展示正确 ......
分布式事务处理方案大 PK！
首先先说一个大原则：分布式事务能不用就不要用，毕竟这个用起来还是有一些麻烦的。当然，不用和不会用可是两码事。 1. 分布式事务基础理论 学习分布式事务，有一些基础理论需要我们先来了解下。 1.1 本地事务 本地事务是指将多条语句作为一个整体进行操作的功能，通过数据库事务可以确保该事务范围内的所有操作 ......
【RocketMQ】RocketMQ存储结构设计
CommitLog 生产者向Broker发送的消息，会以顺序写的方式，写入CommitLog文件，CommitLog文件的根目录由配置参数storePathRootDir决定，默认每一个CommitLog的文件大小为1G，如果文件写满会新建一个CommitLog文件，以该文件中第一条消息的偏移量为文 ......
pytorch(8-3) 文本语言处理 拆分成字符统计词频并从高到底分配ID 画图可视化1-3元词频分布规律
https://zh.d2l.ai/chapter_recurrent-neural-networks/language-models-and-dataset.html import collections import re from d2l import torch as d2l #@save ......
Redis学习之分布式锁
分布式锁：满足分布式系统或集群模式下多进程可见并且互斥的锁。 分布式锁的两个基本特征： 多线程（进程）可见（读写） 互斥 还应具备的特征： 高可用：不能挂机 高性能：读写要快 安全性：不能出现死锁 实现方式 主要有以下三种： 其中，MySQL 的实现成本相对最低、Redis 性能最高、Zookeep ......
日志链路追踪实现方式
日志链路追踪是一种用于跟踪分布式应用程序中请求的处理过程的技术，可以帮助开发人员诊断和解决问题。以下是一些常见的日志链路追踪实现方式： OpenTracing：这是一个开放标准，它提供了一组API和工具，可以帮助开发人员在应用程序中实现日志链路追踪。 Zipkin：这是一个开源的日志链路追踪系统，它 ......
在 CentOS7/CentOS8 上使用 cephadm 安装分布式存储系统 Ceph【转】
Cephadm 介绍 官方文档：https://docs.ceph.com/en/latest/cephadm/ cephadm 用于部署和管理 Ceph 集群，它通过 SSH 将 manager 守护进程连接到主机来实现这一点。manager 守护进程支持添加、删除和更新 Ceph 容器。ceph ......
Redis——分布式锁
基本原理 synchronized是利用JVM内部的锁监视器控制线程，但是只能在一个JVM中生效。如果有多个JVM的时候，就会有多个线程获取到锁，就无法实现多JVM进程之间的互斥了。 因此不能使用JVM内部的锁监视器了，必须使用JVM外部的锁监视器，就能保证只有一个线程获取到锁，就能实现多进程之间的 ......
分布式操作系统市场规模有万亿吗？你怎么看？
昨天参加一个饭局，席间和一位做ICT基础设施投资的朋友聊起我们团队研发的LAXCUS分布式操作系统，请他分析一下分布式操作系统和连带的产业市场规模价值，我给出的分析依据是：1. LAXCUS面向TO B市场，有广泛应用前景，包括AI、大数据、HPC的支持2. LAXCUS属于多机操作系统，和Wind ......
服务链路追踪 —— SpringCloud Sleuth
Sleuth 简介 随着业务的发展，系统规模变得越来越大，微服务拆分越来越细，各微服务间的调用关系也越来越复杂。客户端请求在后端系统中会经过多个不同的微服务调用来协同产生最后的请求结果，几平每一个请求都会形成一个复杂的分布式服务调用链路，在每条链路中任何一个依赖服务出现延迟超时或者错误都有可能引起整 ......