理论 分布式 事务base
Hadoop理论知识
1、Hadoop是什么？ Hadoop是一个由Apache基金会所研发的分布式系统基础架构。主要解决海量数据存储和海量数据的分析计算问题。 2、Hadoop的特点？ （1）高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。 （2）高扩展 ......
base64的编码和解码
base64介绍 base64是编码解码方式，而不是加密方式 使用方法 首先需要导入base64模块 import base64 base64编码： 只能转换bytes格式数据 base64.b64encode(转换数据.encode('utf-8')) base64解码： base64编码可能需要 ......
Hive理论知识
1、什么是Hive？ Hive是基于Hadoop的一个数据仓库工具，它提供了类似SQL的查询语言来进行大规模的数据分析和处理。Hive将结构化的数据映射到Hadoop分布式文件系统（HDFS）上，并通过MapReduce任务执行查询操作。 2、数据模型有哪些？ 星形模式(Star Schema)：星 ......
分布式数据库测试
分布式数据库的测试涉及多个方面，因为它们需要在多个节点上运行、处理大量数据并保证数据一致性和可靠性。以下是测试分布式数据库时可以考虑的不同方向和方法： 功能测试： 基本功能测试：验证数据库的基本功能，如数据插入、查询、更新和删除操作是否正常工作。 事务管理测试：确保分布式事务在不同节点上的协调与管理 ......
分布式存储ceph——（2）部署ceph
前言： 很多朋友想学ceph，但是开始ceph部署就让初学者举步为艰，ceph部署时由于国外源的问题（具体大家应该懂得），下载和安装软件便会卡住，停止不前。即使配置搭建了国内源后，执行ceph-deploy install 时又跑去了国外的源下载，很是无语呀！！！这样导致我们停下了学习ceph的脚步 ......
分布式存储ceph——（1）ceph 讲解
一、Ceph简介： Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。ceph 的统一体现在可以提供文件系统、块存储和对象存储，分布式体现在可以动态扩展。在国内一些公司的云环境中，通常会采用 ceph 作为openstack 的唯一后端存储来提高数据转发效率。 Ceph项目 ......
算法分析与设计 第十次理论作业
算法分析与设计 第十次理论作业 目录算法分析与设计 第十次理论作业一. 填空题（共1题，20分）二. 判断题（共3题，60分）三. 单选题（共1题，20分） 一. 填空题（共1题，20分） (填空题) 根据本课程的学习内容，列举出一种既可以用动态规划算法、也可以用回溯法和分支限界法求解的问题：___ ......
算法分析与设计 第九次理论作业
算法分析与设计 第九次理论作业 目录算法分析与设计 第九次理论作业一. 单选题（共3题，30分）二. 填空题（共5题，50分）三. 简答题（共1题，20分） 一. 单选题（共3题，30分） (单选题, 10分) 优先队列通常采用（ ）来实现。 A. 栈 B. 堆 C.队列 D.二叉查找树 正确答案: ......
算法分析与设计 第八次理论作业
算法分析与设计 第八次理论作业 目录算法分析与设计 第八次理论作业一. 单选题（共1题，10分）二. 填空题（共3题，30分）三. 判断题（共3题，30分）四. 简答题（共1题，30分） 一. 单选题（共1题，10分） (单选题, 10分) 关于装载问题，以下叙述不正确的是（）。 A. 装载问题是一 ......
算法分析与设计 第七次理论作业
算法分析与设计 第七次理论作业 目录算法分析与设计 第七次理论作业一. 单选题（共2题，20分）二. 填空题（共8题，80分） 一. 单选题（共2题，20分） (单选题) 回溯法在搜索解空间树时所采取的策略是（ ）。 A. 广度优先加剪枝 B. 活结点优先 C. 深度优先加剪枝 D. 优先级高的结点 ......
算法分析与设计 第六次理论作业
算法分析与设计 第六次理论作业 目录算法分析与设计 第六次理论作业一. 单选题（共4题，50分）二. 填空题（共3题，37.5分）三. 简答题（共1题，12.5分） 一. 单选题（共4题，50分） (单选题) 关于哈夫曼算法的正确性，以下叙述中正确的是（ ）。 A.最优前缀码问题只满足贪心选择性质， ......
【性能测试入门必看】性能测试理论知识
一、性能测试理论知识 1、常用的七种性能测试方法 (1) 后端性能测试：其实，你平时听到的性能测试，大多数情况下指的是后端性能测试，也就是服务器端性能测试。后端性能测试，是通过性能测试工具模拟大量的并发用户请求，然后获取系统性能的各项指标，并且验证各项指标是否符合预期的性能需求的测试手段。 (2) ......
算法分析与设计 第五次理论作业
算法分析与设计 第五次理论作业 一. 单选题（共5题，50分） (单选题) 贪心算法的基本要素是（ ）。 A.最优子结构性质与贪心选择性质 B.重叠子问题性质与贪心选择性质 C.最优子结构性质与重叠子问题性质 D.最优子结构性质和递归性质 正确答案: A:最优子结构性质与贪心选择性质; (单选题) ......
云计算技术与应用 之 实验 10--分布式云计算部署
实验 10--分布式云计算部署 一、实验目的 掌握分布式云计算部署。 二、实验原理和内容 1.了解云解决方案； 2.了解 iaas、paas； 3.提交实验报告。 三、实验步骤 1.进入 win10 操作系统。 2.完成，步骤和结果如下： 3.完成，步骤和结果如下： 4.结果1，步骤和结果如下： 5 ......
云计算技术与应用 之 实验六-分布式文件系统算法—MapReduce
实验六-分布式文件系统算法—MapReduce 一、实验目的 掌握 MapReduce 算法的设计与实现。 二、实验原理和内容 1.原理： MapReduce 的核心思想是“分而治之”，也就是把一个大的数据集拆分成多 个小数据集在多台机器上并行处理。 一个大的 MapReduce 作业，首先会被拆分 ......
云计算技术与应用 之 实验 5-分布式文件系统并行编程— Producer-Consumer 模式
实验 5-分布式文件系统并行编程—Producer-Consumer 模式 一、实验目的 掌握并行编程 Producer-Consumer 模式的设计与实现。 二、实验原理和内容 原理： 系统有两类进程协作：Master 进程和 Worker 进程。Master 负责接收和分 配任务，Worker ......
云计算技术与应用 之 实验 4-分布式文件系统并行编程— Master-Worker 模式
实验 4-分布式文件系统并行编程—Master-Worker 模式 一、实验目的 掌握并行编程 Master-Worker 模式的设计与实现。 二、实验原理和内容 原理： 系统有两类进程协作：Master 进程和 Worker 进程。Master 负责接收和分 配任务，Worker 负责处理子任务。 ......
Docker+SEATA+Nacos+SpringBoot实现分布式事务
Docker+SEATA+Nacos+SpringBoot实现分布式事务 1. 服务端 示例SEATA版本：1.6.1 1.1. 配置的创建 docker pull seataio/seata-server:1.6.1 # 这里的运行只是为了获取里面的配置，将配置拿出来到宿主机后进行配置再删除容器再 ......
Config：Spring Cloud分布式配置组件
Config：Spring Cloud分布式配置组件 问题总结 Spring Cloud Config? Spring Cloud Config工作原理？ Spring Cloud Config 的特点？ Config+Bus 实现配置的动态刷新？ 问题答案 Spring Cloud Config ......
[go 面试] 为并发加锁：保障数据一致性（分布式锁）
原创 TimLiu 爱发白日梦的后端 2023-12-01 08:01 发表于广东 爱发白日梦的后端 专注 Go 语言领域的发展，学习成为更牛逼的架构师，日常分享 Go 语言、架构、软件工具的使用。 159篇原创内容 公众号 在单机程序中，当多个线程或协程同时修改全局变量时，为了保障数据一致性，我们 ......
履机乘变，轻舟便楫：源启分布式PaaS深度赋能企业级技术平台建设
导语 源启分布式PaaS平台围绕应用视角为用户提供应用运行的全生命周期管控能力，提供注册中心、服务路由、网关、服务治理等中间件技术支持，实现应用之间的联通，解决客户多厂商产品不兼容、产品组合不可选择、孤岛效应等问题，满足企业级应用集成需要，实现降本增效。 在《洞若观火，明察秋毫：源启一体化监控平台构 ......
【2023-12-28】家庭事务
20:00 积极勇敢地面对现实，我们还应团结起来，面对困难、渡过难关。困难是存在的，留得青山在不怕没柴烧。记住中国是中国人的中国，解决问题只能靠自己。 ——曹德旺 如上用所预测，奶奶今天就要老家，开始帮堂哥进行婚事打理。昨晚回到家后，奶奶便跟我商量要买今天几点的车票回去。近期我确实忙，希望她能傍晚再 ......
Hive事务表转换为非事务表
环境：hive3.1.0 由于建表时默认会建为非事务表 CREATE TABLE bucket_text_table2(column1 string,column2 string,column3 int) CLUSTERED BY (column3) into 5 BUCKETS STORED AS ......
中间件 ZK分布式专题与Dubbo微服务入门 1-3 分布式系统的瓶颈以及zk的相关特性
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12661 1 重点关注 1.1 zk的相关特性 2 课程内容 2.1 zk的相关特性 一致性:数据一致性，数据按照顺序分批入库原子性:事务要么成功要么失败，不会局部化 单一视图:客户端连接集群中 ......
如何使用Redisson实现分布式锁？
在分布式系统中，当多个线程（或进程）同时操作同一个资源时，为了保证数据一致性问题，所以就需要一种机制来确保在同一时间只有一个线程（或进程）能够对资源进行修改，这就是分布式锁的作用。 分布式锁是一种在分布式环境下的锁实现，它允许在多个进程或服务器之间协调对共享资源的访问或操作。分布式锁的关键特性是它能 ......
本地事件总线和事务
本地事件总线和事务 通过重写Ef Core的SaveChanges/SaveChangesAsync来实现事务。当然，如果您愿意实现仓储层，可以在仓储层实现展开对应实体包含的事件，并且调整事件的处理顺序。 Github仓库地址：soda-event-bus 实现AggregateRoot类 Aggr ......
什么是正态分布?
正态分布（Normal distribution），又名高斯分布（Gaussian distribution），简称正态曲线（Normal curve），是统计学中一种常见的连续概率分布，在许多自然现象中都十分常见。正态分布曲线呈钟形，两头低而中间高，左右对称。正态分布曲线的均值、中位数和众数都重合 ......
分布式ID生成
王富贵 (lmlx66.top) 为什么要用分布式 ID 随着业务数据量的增长，存储在数据库中的数据越来越多，当索引占用的空间超出可用内存大小后，就会通过磁盘索引来查找数据，这样就会极大的降低数据查询速度。如何解决这样的问题呢？一般我们首先通过分库分表来解决，分库分表后就无法使用数据库自增 ID 来 ......
Irwin-Hall 分布
Irwin-Hall 分布 对于 \(n\) 个均匀分布于 \([0,1]\) 的连续随机变量 \(X_1,X_2,\dots,X_n\)，其和的随机变量 \(X\) 满足： \[P(X\le x)=\sum _{k=0}^{\lfloor x\rfloor}(-1)^k\binom nk\frac ......