分布
分布式锁
分布式锁 在多线程环境中，如果多个线程同时访问共享资源（例如商品库存、外卖订单），会发生数据竞争，可能会导致出现脏数据或者系统问题，威胁到程序的正常运行。 为什么需要分布式锁? 举个例子，假设现在有 100 个用户参与某个限时秒杀活动，每位用户限购 1 件商品，且商品的数量只有 3 个。如果不对共享 ......
太强了！全新一代分布式任务调度与计算框架！
PowerJob（原 OhMyScheduler） —— 全新一代分布式调度与计算框架，能让您轻松完成作业的调度与繁杂任务的分布式计算。 ......
分布式存储ceph——（6）ceph osd故障硬盘更换
故障状态： 实施更换步骤： （1）关闭ceph集群数据迁移： osd硬盘故障，状态变为down。在经过mod osd down out interval 设定的时间间隔后，ceph将其标记为out，并开始进行数据迁移恢复。为了降低ceph进行数据恢复或scrub等操作对性能的影响，可以先将其暂时关闭 ......
分布式存储ceph——（5）ceph 添加/删除osd
一、添加osd： 当前ceph集群中有如下osd，现在准备新添加osd： （1）选择一个osd节点，添加好新的硬盘： （2）显示osd节点中的硬盘，并重置新的osd硬盘： 列出节点磁盘：ceph-deploy disk list rab1 擦净节点磁盘：ceph-deploy disk zap ra ......
分布式存储ceph——（4）ceph常用命令
1、查看ceph集群配置信息 1 ceph daemon /var/run/ceph/ceph-mon.$(hostname -s).asok config show 2、在部署节点修改了ceph.conf文件，将新配置推送至全部的ceph节点 1 ceph-deploy --overwrite-c ......
中间件 ZK分布式专题与Dubbo微服务入门 4-1 zookeeper常用命令行操作
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12698 1 重点关注 1.1 常用命令操作 ./zkCli.sh 启动客户端ls / 查看节点信息ls2 / 查看节点状态信息stat / 查看节点状态信息ls2 = ls+statget / ......
中间件 ZK分布式专题与Dubbo微服务入门 3-3 zookeeper的作用体现
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12696 1 重点关注 1.1 zookeeper的作用 master节点选举，主节点挂了以后，从节点就会接手工作，并且保证这个节点是唯一的，这也是所谓首脑模式，从而保证我们的集群是高可用的 统 ......
中间件 ZK分布式专题与Dubbo微服务入门 3-2 zk客户端连接关闭服务端，查看znode
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12695 1 重点关注 1.1 zookeeper客户端操作命令 启动 ./zkCli.sh 停止 Ctrl C 其他命令 启动后 help 查看节点 ls / 2 课程内容 2.1 操作步骤 ......
中间件 ZK分布式专题与Dubbo微服务入门 3-1 zk数据模型介绍
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12694 1 重点关注 1.1 zookeeper数据模型概念介绍 zk的数据模型也可以理解为linux/unix的文件目录 : /usr/local/. 每一个节点都称之为znode，它可以有 ......
一图看懂深圳产业分布
龙华区的产业关键词离不开：电子信息、人工智能、生命健康、时尚创意； 坪山区的主导产业为：生命健康、新能源产业、新一代信息技术产业； 光明区牢牢抓紧：智能产业、新材料产业、生命科学产业以及现代服务业等“3+1”产业； 龙岗区则以：ICT、AIoT、电子元器件、绿色能源、生命科学、创意生活等六大产业集群 ......
中间件 ZK分布式专题与Dubbo微服务入门 2-4 zookeeper配置文件介绍，运行zk
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12692 1 重点关注 1.1 最常用的目录 bin 执行启动关闭zookeeper命令 conifg 进行配置文件配置 recipes 案例代码 docs 文档参考 2 课程内容 2.1 zo ......
分布式存储ceph——（3）openstack对接ceph存储后端
ceph对接openstack环境 一、使用rbd方式提供存储如下数据： （1）image：保存glanc中的image； （2）volume存储：保存cinder的volume；保存创建虚拟机时选择创建新卷； （3）vms的存储：保存创建虚拟机时不选择创建新卷； 二、实施步骤： （1）客户端也要有 ......
分布式日志追踪ID实战 | 京东物流技术团队
本文通过介绍分布式应用下各个场景的全局日志ID透传思路，以及介绍分布式日志追踪ID简单实现原理和实战效果，从而达到通过提高日志查询排查问题的效率。 背景 开发排查系统问题用得最多的手段就是查看系统日志，相信不少人都值过班当过小秘吧：给下接口和出入参吧，麻烦看看日志里的有没有异常信息啊等等，但是在并发 ......
中间件 ZK分布式专题与Dubbo微服务入门 2-3 zookeeper文件夹主要目录介绍
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12690 1 重点关注 1.1 最常用的目录 bin 执行启动关闭zookeeper命令 conifg 进行配置文件配置 recipes 案例代码 docs 文档参考 2 课程内容 2.1 zo ......
中间件 ZK分布式专题与Dubbo微服务入门 2-2 zookeeper下载、安装
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12686 1 重点关注 1.1 zookeeper的安装 下载zookeeper 在以下链接下载3.4.11 http://archive.apache.org/dist/zookeeper/ ......
中间件 ZK分布式专题与Dubbo微服务入门 2-1 JDK的安装（linux）
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12684 1 重点关注 1.1 jdk的安装 下载jdk 用fileZilla上传jdk到linux环境 home路径下 在home路径下解压压缩包 tar -zxvf jdk-8u202-1i ......
分布式数据库测试
分布式数据库的测试涉及多个方面，因为它们需要在多个节点上运行、处理大量数据并保证数据一致性和可靠性。以下是测试分布式数据库时可以考虑的不同方向和方法： 功能测试： 基本功能测试：验证数据库的基本功能，如数据插入、查询、更新和删除操作是否正常工作。 事务管理测试：确保分布式事务在不同节点上的协调与管理 ......
分布式存储ceph——（2）部署ceph
前言： 很多朋友想学ceph，但是开始ceph部署就让初学者举步为艰，ceph部署时由于国外源的问题（具体大家应该懂得），下载和安装软件便会卡住，停止不前。即使配置搭建了国内源后，执行ceph-deploy install 时又跑去了国外的源下载，很是无语呀！！！这样导致我们停下了学习ceph的脚步 ......
分布式存储ceph——（1）ceph 讲解
一、Ceph简介： Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。ceph 的统一体现在可以提供文件系统、块存储和对象存储，分布式体现在可以动态扩展。在国内一些公司的云环境中，通常会采用 ceph 作为openstack 的唯一后端存储来提高数据转发效率。 Ceph项目 ......
云计算技术与应用 之 实验 10--分布式云计算部署
实验 10--分布式云计算部署 一、实验目的 掌握分布式云计算部署。 二、实验原理和内容 1.了解云解决方案； 2.了解 iaas、paas； 3.提交实验报告。 三、实验步骤 1.进入 win10 操作系统。 2.完成，步骤和结果如下： 3.完成，步骤和结果如下： 4.结果1，步骤和结果如下： 5 ......
云计算技术与应用 之 实验六-分布式文件系统算法—MapReduce
实验六-分布式文件系统算法—MapReduce 一、实验目的 掌握 MapReduce 算法的设计与实现。 二、实验原理和内容 1.原理： MapReduce 的核心思想是“分而治之”，也就是把一个大的数据集拆分成多 个小数据集在多台机器上并行处理。 一个大的 MapReduce 作业，首先会被拆分 ......
云计算技术与应用 之 实验 5-分布式文件系统并行编程— Producer-Consumer 模式
实验 5-分布式文件系统并行编程—Producer-Consumer 模式 一、实验目的 掌握并行编程 Producer-Consumer 模式的设计与实现。 二、实验原理和内容 原理： 系统有两类进程协作：Master 进程和 Worker 进程。Master 负责接收和分 配任务，Worker ......
云计算技术与应用 之 实验 4-分布式文件系统并行编程— Master-Worker 模式
实验 4-分布式文件系统并行编程—Master-Worker 模式 一、实验目的 掌握并行编程 Master-Worker 模式的设计与实现。 二、实验原理和内容 原理： 系统有两类进程协作：Master 进程和 Worker 进程。Master 负责接收和分 配任务，Worker 负责处理子任务。 ......
Docker+SEATA+Nacos+SpringBoot实现分布式事务
Docker+SEATA+Nacos+SpringBoot实现分布式事务 1. 服务端 示例SEATA版本：1.6.1 1.1. 配置的创建 docker pull seataio/seata-server:1.6.1 # 这里的运行只是为了获取里面的配置，将配置拿出来到宿主机后进行配置再删除容器再 ......
Config：Spring Cloud分布式配置组件
Config：Spring Cloud分布式配置组件 问题总结 Spring Cloud Config? Spring Cloud Config工作原理？ Spring Cloud Config 的特点？ Config+Bus 实现配置的动态刷新？ 问题答案 Spring Cloud Config ......
[go 面试] 为并发加锁：保障数据一致性（分布式锁）
原创 TimLiu 爱发白日梦的后端 2023-12-01 08:01 发表于广东 爱发白日梦的后端 专注 Go 语言领域的发展，学习成为更牛逼的架构师，日常分享 Go 语言、架构、软件工具的使用。 159篇原创内容 公众号 在单机程序中，当多个线程或协程同时修改全局变量时，为了保障数据一致性，我们 ......
履机乘变，轻舟便楫：源启分布式PaaS深度赋能企业级技术平台建设
导语 源启分布式PaaS平台围绕应用视角为用户提供应用运行的全生命周期管控能力，提供注册中心、服务路由、网关、服务治理等中间件技术支持，实现应用之间的联通，解决客户多厂商产品不兼容、产品组合不可选择、孤岛效应等问题，满足企业级应用集成需要，实现降本增效。 在《洞若观火，明察秋毫：源启一体化监控平台构 ......
中间件 ZK分布式专题与Dubbo微服务入门 1-3 分布式系统的瓶颈以及zk的相关特性
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12661 1 重点关注 1.1 zk的相关特性 2 课程内容 2.1 zk的相关特性 一致性:数据一致性，数据按照顺序分批入库原子性:事务要么成功要么失败，不会局部化 单一视图:客户端连接集群中 ......
如何使用Redisson实现分布式锁？
在分布式系统中，当多个线程（或进程）同时操作同一个资源时，为了保证数据一致性问题，所以就需要一种机制来确保在同一时间只有一个线程（或进程）能够对资源进行修改，这就是分布式锁的作用。 分布式锁是一种在分布式环境下的锁实现，它允许在多个进程或服务器之间协调对共享资源的访问或操作。分布式锁的关键特性是它能 ......