链路 分布式opentelemetry rocketmq

Zookeeper——分布式一致性协议及Leader选举原理

一、引言 随着业务的增长,单体架构发展为分布式架构,大大提升了业务的处理能力,但同时也带来了很多单体架构不存在的问题,如: 各节点之间网络通信的异常以及因其引起的脑裂问题(网络分区)。 引出“三态”。在单体架构中只会存在“成功”或“失败”两种结果,但是在分布式架构中由于网络异常将会出现“未知”的结果 ......
一致性 分布式 Zookeeper 原理 Leader

数据链路层-MAC多点访问控制协议

解决的问题 对于一个共享性介质(总线型局域网的总线),各个节点如何协调对它的访问和使用?通过各种途径来控制对共享介质访问的方式,在数据链路层称为多点访问控制协议。 多点访问控制协议按照访问方式分为三种类型:信道划分方式、随机方式、轮流方式。 信道划分方式 频分复用: FDM(Frequency Di ......
链路 数据 MAC

使用分布式事务 Seata 的 TCC 模式

Seata 的 TCC 模式需要通过人工编码来实现数据的回滚恢复,有点麻烦,但是性能最高。TCC 是 3 个方法的首字母缩写,即 Try 方法、Confirm 方法、Cancel 方法。Try 方法进行资源的检查和冻结,Confirm 方法是当所有事务都成功后调用的方法,Cancel 方法是当整体事 ......
分布式 事务 模式 Seata TCC

Seata 分布式事务

Seata 分布式事务 ​#Seata中间件#​ Seata是 2019 年 1 月份蚂蚁金服和阿里巴巴共同开源的分布式事务解决方案。致力于提供高性能和简单易用的分布式事务服务,为用户打造一站式的分布式解决方案。 官网地址:http://seata.io/ CAP定理和Base理论 这两个在前面弄N ......
分布式 事务 Seata

StackGres 数据库平台工程,使用 Citus + Patroni 创建生产级高可用分布式 PostgreSQL 分片集群

系列 StackGres, 可私有部署的云原生数据库平台工程 StackGres 数据库平台工程功能介绍与快速上手 StackGres 1.6 数据库平台工程集群配置管理(K8S Pods/PostgreSQL/PgBouncer) StackGres 1.6 数据库平台工程,集群高可用(Patro ......

HydroOJ 踩坑指南(1)狡猾的分布式官方文档

本系列旨在记录使用HydroOJ时的一些坑点,更全的说明文档请查看官方文档。 欢迎联系本人 QQ 补充: 2422609586. HydroOJ 官方QQ群: 1085853538. 入门第一坑:官方文档不止一处! 都说学习项目要先认真读文档,HydroOJ的文档使用了分布式阅读系统,并异地多中心部 ......
分布式 HydroOJ 文档 指南 官方

使用Slurm集群进行分布式图计算:对Github网络影响力的系统分析

本文在华为云弹性云服务器集群中部署Slurm作业调度系统,并运行针对Github协作网络影响力分析的分布式图计算应用程序。 ......
分布式 集群 影响力 Github 系统

车企数据治理实践案例,实现数据生产、消费的闭环链路 | 数字化标杆

随着业务飞速发展,某汽车制造企业业务系统数量、复杂度和数据量都在呈几何级数的上涨,这就对于企业IT能力和IT架构模式的要求越来越高。加之企业大力发展数字化营销、新能源车等业务,希望通过持续优化客户体验,创造可持续发展的数字化转型之路。 为更好应对数字化变革所带来的挑战,现有的竖井架构的数据体系难以满 ......
闭环 数据 链路 标杆 案例

从入口域名开始探索全链路自动化拓扑

运维自动化之域名系统的文章发出去之后,有小伙伴问既然拿到了域名及所有基础资源数据,那能不能从入口域名开始实现全链路自动化的系统拓扑构建?全链路的系统拓扑构建需要知道链路上所有节点之间的数据流转关系,之前在落地APM监控时有接触过,APM通过代码埋点拿到链路节点之间的数据流转关系,而流转关系仅通过基础 ......
链路 拓扑 入口 域名

使用分布式事务 Seata 的 AT 模式

有了上篇博客实现 XA 模式的基础,本篇博客在实现 AT 模式时,不需要修改任何代码,只需要增加一张数据库表,修改以下 application.yml 配置即可实现。AT 模式也是分两个阶段提交的事务模型,它缺弥补了 XA 模型中资源锁定周期过长的问题。 其实现的两个阶段的工作原理如下: 第一阶段注 ......
分布式 事务 模式 Seata AT

分布式协同(万字长文)

分布式协同 分布式协同,也叫分布式协调,是在计算机网络中,不同的硬件或软件组件完成各自的任务,然后通过协同工作来解决问题。 在分布式系统中,不同的节点需要进行信息的交换,以达到一致的状态。这个过程就需要分布式协调。例如,我们要保证在分布式系统中的所有节点上的数据是最新的,就需要用到分布式协调。 分布 ......
长文 分布式

分布式事务~seata的使用

springcloud-nacos-seata 分布式事务组件seata的使用demo,AT模式,集成nacos、springboot、springcloud、mybatis-plus,数据库采用mysql demo中使用的相关版本号,具体请看代码。如果搭建个人demo不成功,验证是否是由版本导致, ......
分布式 事务 seata

Laxcus分布式操作系统的产品规划和发展阶段

又是一位网友的提问,把回答贴出来给大家看看,欢迎大家在下方留言交流。 问: 关注你们很久了,我想问一问,Laxcus分布式操作系统有没有具体的产品规划,如果有是什么,打算怎么做?你们的主要着眼点在哪里?目前Laxcus分布式操作系统发展到什么阶段了? 答: 感谢关注!Laxcus做为全球第一款纯粹的 ......
分布式 阶段 Laxcus 系统 产品

使用分布式事务 Seata 的 XA 模式

上篇博客已经搭建了分布式事务 Seata 的集群,本篇博客主要介绍如何使用 Seata 的 XA 模式。 XA 模式的规范是 X/Open 组织定义的分布式事务处理(DTP,Distributed Transaction Processing)标准,XA 模式规范描述了全局的 TM 与局部的 RM ......
分布式 事务 模式 Seata XA

用零点存在定理看二次方程根的分布

前言 以前写过一篇关于二次方程根的分布问题的博文,感觉思路混乱,也不想再修改,故重新开一篇博文探讨这个问题,初次尝试用零点存在定理来分析二次方程根的分布,自编题目,有待商榷,希望多提宝贵意见。 典例分析 为了降低思维的难度,我们首先看这个比较特殊的例子, 已知函数 \(f(x)=-x^2+2x+1- ......
定理

如何使用mysql实现分布式锁

如何使用mysql实现可重入的分布式锁 目录 什么是分布式锁? 如何实现分布式锁? 定义分布式表结构 定义锁统一接口 使用mysql来实现分布式锁 ① 生成线程标记ID ② 加锁 ③ 解锁 ④ 重置锁 写在最后 1. 什么是分布式锁? 百度百科:分布式锁是控制分布式系统之间同步访问共享资源的一种方式 ......
分布式 mysql

如何保证RocketMQ消息不丢失

一、概述 一个消息从开始到结束会经历这么三个阶段:生产阶段、消息队列Broker存储阶段和消费阶段。一个消息在三个阶段中的任何一个阶段都有可能丢失,知道这个之后,我们只要保证这三个阶段不出现问题,消息自然就不会出现丢失了。接下来我们来细说一下如何保证这三个阶段不出现问题。 二、生产阶段 生产阶段的使 ......
RocketMQ 消息

matlab图像三维灰度分布图

p=imread('C:\Users\wangd\Documents\MATLAB\1.jpg'); g=rgb2gray(p); % 转为灰阶图 gg=double(g); % 转为数值矩阵 gg=1-gg/255; % 将彩色值转为 0-1 的渐变值 [x,y]=size(gg); % 取原图大 ......
灰度 分布图 图像 matlab

.NET开源的处理分布式事务的解决方案

前言 在分布式系统中,由于各个系统服务之间的独立性和网络通信的不确定性,要确保跨系统的事务操作的最终一致性是一项重大的挑战。今天给大家推荐一个.NET开源的处理分布式事务的解决方案基于 .NET Standard 的 C# 库:CAP。 CAP项目介绍 CAP 是一个基于 .NET Standard ......
分布式 解决方案 事务 方案 NET

微服务定时任务解决方案-分布式定时任务解决方案(讨论)

市面上的要么集成项目里,要么单独一个项目。我说的虽然也要单独集成,但可以通过python,shell多种方式去做更轻量、灵活,而且难度为0,不需要任何文档。 外部单机的定时任务,每个任务执行通过http去调用网关。失败了再调个短信通知的接口,最差就是单独加一个定时任务专用的网关 ......
解决方案 任务 方案 分布式

系统设计面试指南之分布式任务调度

1 简介 任务是需要资源(CPU 时间、内存、存储、网络带宽等)在指定时间内完成的一段计算工作。 通过智能地将资源分配给任务以满足任务级和系统级目标的系统称为任务调度程序。 任务调度程序: 及时决定和分配资源给任务的过程称为任务调度。 当我们在 Facebook 发表评论时。我们不会让评论发布者等待 ......
分布式 任务 指南 系统

SkyWalking链路追踪系统-告警篇

来源:https://cloud.tencent.com/developer/article/1808306 1、概述 Skywalking发送告警的基本原理是每隔一段时间轮询skywalking-oap收集到的链路追踪的数据,再根据所配置的告警规则(如服务响应时间、服务响应时间百分比)等,如果达到 ......
链路 SkyWalking 系统

jmeter 分布式压测出现 :java.io.FileNotFoundException: rmi_keystore.jks (系统找不到指定的文件。)

分布式执行压测时报错: Exception creating connection to: 10.22.133.117; nested exception is: java.io.FileNotFoundException: rmi_keystore.jks (系统找不到指定的文件。) 解决方案:( ......

分布式服务雪崩

分布式服务雪崩 简介 公司分布式服务链路,底层强依赖数美第三方风控,校验用户是否黑产,随着并发量上升,数美接口返回时间逐渐增加,导致风控服务很多线程等待中,其他调用风控服务的上游服务线程也等待,然后上游的上游。。。,一层层全阻塞。 模拟: 新建springboot服务 tomcat配置: serve ......
雪崩 分布式

聊聊分布式 SQL 数据库Doris(九)

优化器的作用是优化查询语句的执行效率,它通过评估不同的执行计划并选择最优的执行计划来实现这一目标。 CBO: 一种基于成本的优化器,它通过评估不同查询执行计划的成本来选择最优的执行计划。CBO会根据数据库系统定义的统计信息以及其他因素,对不同的执行计划进行评估,并选择成本最低的执行计划。CBO的目标 ......
分布式 数据库 数据 Doris SQL

rocketMq安装

# 拉取镜像 docker pull rocketmqinc/rocketmq # 创建一个文件夹用于存放相关文件 mkdir rocketMqAtHome01 && cd rocketMqAtHome01 # 创建namesrv数据卷文件夹 mkdir -p data/namesrv/logs d ......
rocketMq

分布式系统HDFS

1、完全分布式搭建 hadoop102[namenode,datanode],hadoop103[datanode], hadoop104[secondarynamenode,datanode] 缺少104,配置104 选择完全克隆103 机器的名称 hadoop104 配置机器的IP 192.16 ......
分布式 系统 HDFS

伪分布环境搭建

1. 进⼊/opt/install/hadoop/etc/hadoop⽬录 2. 修改hadoop-env.sh:注释第25⾏并插⼊:export JAVA_HOME=/opt/install/jdk 3. 修改core-site.xml:在<configuration>与</configurati ......
环境

聊聊分布式 SQL 数据库Doris(八)

稀疏索引 密集索引:文件中的每个搜索码值都对应一个索引值,就是叶子节点保存了整行. 稀疏索引:文件只为索引码的某些值建立索引项. 稀疏索引的创建过程包括将集合中的元素分段,并给每个分段中的最小元素创建索引。在搜索时,先定位到第一个大于搜索值的索引的前一个索引,然后从该索引所在的分段中从前向后顺序遍历 ......
分布式 数据库 数据 Doris SQL

hive+mysql的伪分布式数据仓库搭建

1.前言 1.1所使用的配置 VMware 16pro #虚拟机 unbuntu22.04 #操作系统 jdk-8u202 hadoop-3.3.6 hive-3.1.1 mysql-8.054 mysql-connect-j-8.1.0 2.mysql和navicat的安装和使用 2.1mysql ......
分布式 仓库 数据 mysql hive
共3000篇  :7/100页 首页上一页7下一页尾页