分布式 集群hadoop
MongoDB中的分布式集群架构
MongoDB 中的分布式集群架构 前言 Replica Set 副本集模式 副本集写和读的特性 Sharding 分片模式 分片的优势 MongoDB 分片的组件 分片键 chunk 是什么 分片的算法 哈希分片 范围分片 总结 参考 MongoDB 中的分布式集群架构 前言 前面我们了解了 Mo ......
Hadoop 数据压缩
1.概述 1.好处 & 坏处 优点：减少磁盘IO、减少磁盘存储空间 缺点：增加CPU开销 2.压缩的原则 运算密集型的Job，少用压缩 IO密集型的Job，多用压缩 2.MR 支持的压缩编码 1.压缩算法对比介绍 压缩格式 Hadoop自带? 算法 文件扩展名 是否可切片 换成压缩格式后,原来的程序 ......
Redis集群
集群 由于数据量过大，单个Master复制集难以承担，因此需要对多个复制集进行集群，形成水平扩展每个复制集只负责存储整个数据集 的一部分，这就是Redis的集群，其作用是提供在多个Redis节点间共享数据的程序集。 Redis集群是一个提供在多个Redis节点间共享数据的数据集 Redis集群可以支 ......
Hadoop快速入门
Hadoop快速入门 一、大数据思维 分而治之 所谓“分而治之”，就是把一个复杂的算法问题按一定的“分解”方法分为等价的规模较小的若干部分，然后逐个分别找出各部分的解，再把各部分的解组成整个问题的解。 传统的计算都是基于内存去完成的，但是内存是有限的，数据量太大，导致无法在较短时间内迅速解决，也就是 ......
Windows电脑上的多开工具与分布式计算的关系
在Windows电脑上，多开工具和分布式计算之间存在着一定的关系。多开工具是一类软件，可以帮助用户在一台电脑上同时打开多个相同或不同的应用程序实例，从而提高工作效率。而分布式计算则是利用多台计算机的闲置资源来共同完成复杂的计算任务，通过将任务分发到各个计算节点上并将计算结果汇总，从而加快计算速度和提 ......
Redis集群
1.描述 集群，即是Redis Cluster。其由多个redis节点组成，redis数据保存在这些节点中。这些节点分为主节点和从节点：只有主节点负责读写请求和集群信息的维护，从节点只负责主节点数据和状态的复制。 2.作用 数据分区：redis集群是将数据分散存到多个节点中的。具体存到哪个节点是根绝 ......
LVS负载均衡集群
LVS Cluster，集群，群集 有多台主机构成，对外只表现为一个整体，只提供一个访问入口（域名或IP地址），相当于一台大型计算机 特点：由堕胎主机构成，都干同一件事，对外展现为一个整体 集群分类 根据集群针对的目标差异，可分为三种类型 负载均衡集群 (LB) 提高系统响应效率，处理更多的访问请求 ......
docker部署redis主从集群
1、创建数据目录（logs目录要给权限，要不然会报错） mkdir -pv /data/redis/(data,logs} chmod 777 /data/redis/logs 2、redis.conf 配置文件 -—-主从配置 master 节点配置 cd /data/redis vim redi ......
prometheus监控k8s集群信息（通过kubelet）
prometheus监控k8s集群信息（通过kubelet） 一、创建prometheus访问k8s权限账户（在k8s集群中操作）。 1、在k8s集群中创建服务账户 vim prometheus-sa.yaml apiVersion: v1 kind: ServiceAccount metadata ......
Redis分布式锁的扩展方法
分布式锁代码 #region 秒杀业务测试 private static readonly string redisConnectionStr = "127.0.0.1:6379,connectTimeout=5000,allowAdmin=false,defaultDatabase=1"; /// ......
RocketMQ集群监控平台 rocketmq-console【转】
Run with docker Pull from docker hub(rocketmq-dashboard) docker pull apacherocketmq/rocketmq-dashboard:latest Run it (use your own rocketmq.namesrv.ad ......
创建一个Redis集群的启动命令并启动
第一步：进入到存放集群的目录里 cd /opt/cluster 如下图[红线圈中的目录]： 第二步：在此目录创建sh文件[示例为start.sh]，并打开编辑 vim start.sh 第三步： 在文件中，写入要执行的所有Redis端口命令 `redis-server /opt/cluster/60 ......
超算集群提交CFDEM作业（Slurm作业脚本）
CFDEM Coupling 官方Tutorial中包含了快捷运行算例的脚本，因此提交超算只需将Slurm（PBS）作业脚本中加入执行CFDEM命令即可。 此处利用了Tutorial中parCFDDEMrun.sh脚本。 完整的CFDEM算例目录中应包含CFD/、DEM/、SlurmRun.sh、p ......
分布式存储
分布式存储 分布式存储的思想是什么 分布式存储的思想是将数据分散存储在多个节点上，以提高数据的可靠性、可扩展性和性能。它基于以下几个核心思想： 数据分散：将数据切分成多个块或对象，并将它们存储在不同的节点上。这样可以避免单点故障，提高系统的可靠性。 冗余备份：为了保证数据的可靠性，每个数据块通常会有 ......
安装NETDATA集群监控面板
安装NETDATA集群监控面板 介绍 官方链接 演示网页：https://my-netdata.io/ 官方首页：http://netdata.cloud/ 文档地址：http://docs.netdata.cloud github地址：https://github.com/netdata/netd ......
SpringCloud Seata【解决分布式事务的问题】安装
SpringCloud Seata【解决分布式事务的问题】安装 1. 问题引出 1.1 单机单库（多表）处理事务示意图 1.2 分布式微服务架构下的数据库事务示意图 图片梳理：用户购买商品的业务逻辑。整个业务逻辑由3个微服务提供支持： 仓库服务：对给定商品 扣除商品数量 订单服务：根据采购需求创建订 ......
Hadoop MapReduce框架原理
1.InputFormat数据输入 1.数据切片与MapTask并行度决定机制 一个Job的Map阶段并行度由客户端在提交Job时的切片数决定 每一个Split切片分配一个MapTask并行实例处理 默认情况下，切片大小 = BlockSize 切片时不考虑数据集整体，而是逐个针对每一个文件单独切片 ......
.net core 分布式锁 之 基于 Redis 的 RedLock
使用场景 分布式锁的业务场景涉及到并发控制、任务调度、缓存更新、分布式事务和防止重复操作等方面，能够保证分布式系统的数据一致性和正确性。 并发控制：当多个线程或进程同时访问共享资源时，使用分布式锁可以确保只有一个线程或进程能够访问该资源，避免数据竞争和并发冲突。 分布式任务调度：在分布式系统中，多个 ......
探索服务网格与 OpenTelemetry 的协同之分布式跟踪
在上一篇文章中，介绍了 如何在 k8s 中无侵入安装 Otel 探针 并实现了无侵入（某些语言还无法实现，比如 Go 的 eBPF 对内核的苛刻要求）的分布式跟踪。 这篇文章发出后有读者评论 javaagent 的“无侵入”一说，这里有必要解释下。“无侵入”主要指的是不需要修改应用程序的业务逻辑代码 ......
Spring Cloud Seata系列：基于AT模式实现分布式事务
目录前提Seata的AT模型流程梳理一阶段：二阶段-回滚二阶段-提交脏写问题写隔离读隔离优缺点AT与XA的区别实现AT模式 https://seata.io/zh-cn/docs/dev/mode/at-mode AT模式同样是分阶段提交的事务模型，不过缺弥补了XA模型中资源锁定周期过长的缺陷。 前 ......
R语言贝叶斯Metropolis-Hastings Gibbs 吉布斯采样器估计变点指数分布分析泊松过程车站等待时间|附代码数据
原文链接：http://tecdat.cn/?p=26578 原文出处：拓端数据部落公众号 最近我们被客户要求撰写关于吉布斯采样器的研究报告，包括一些图形和统计输出。 指数分布是泊松过程中事件之间时间的概率分布，因此它用于预测到下一个事件的等待时间，例如，您需要在公共汽车站等待的时间，直到下一班车到 ......
Hadoop 数据类型及序列化
1.Hadoop数据类型 Java类型 Hadoop Writable类型 Boolean BooleanWritable Writable Writable Writable Writable Writable Writable Writable Writable Writable 2.为何Had ......
SAP-APP-服务器组-pacemaker集群的基础环境的安装部署-001
1、安装 pacemaker 相关的软件及可能会用到的软件，两台主机都需要安装 [root@app01 qq-5201351]# yum install nmap-ncat -y [root@app01 qq-5201351]# yum install pcs -y [root@app01 qq-5 ......
kubeadm安装k8s集群
1.机器准备 部署k8s集群的节点按照用途可以划分为如下2类角色： master：集群的master节点，集群的初始化节点，基础配置不低于2c 4g slave：集群的slave节点，可以多台，基础配置不低于1c 2g 这里教程是基于非高可用版本的k8s集群，高可用是指有多个k8s-master主节 ......
教你使用Prometheus-Operator进行K8s集群监控
本文分享自华为云社区《Promethues-operator入门使用指导》，作者：可以交个朋友。 一、 背景 在非operator配置的普罗中我们监控k8s集群都是通过配置configmap进行服务发现和指标拉取。切换到prometheus-operator难免会有些使用问题。不少用户已经习惯底层配 ......
prometheus监控k8s集群node节点/linux操作系统
prometheus监控k8s集群node节点/linux操作系统 一、监控linux操作系统 1、下载二进制包 wget https://github.com/prometheus/node_exporter/releases/download/v1.7.0/node_exporter-1.7.0 ......
Hadoop MapReduce编程规范
用户编写的程序分为三个部分:Mapper、Reducer和Driver 1.Mapper阶段 用户自定义的Mapper要继承自己的父类 Mapper的输入数据是KV对的形式（KV的类型可自定义） Mapper中的业务逻辑写在map()方法中 Mapper的输出数据是KV对的形式（KV的类型可自定义） ......
Kafka集群搭建、注意事项及示例
1. 安装Zookeeper： Kafka依赖于Zookeeper来进行集群协调。确保安装了Zookeeper，并配置好。 2.下载和解压Kafka： 从官方网站下载Kafka，并解压到所需的目录。 3.配置Kafka： 修改Kafka的配置文件以适应集群环境。主要修改server.properti ......
select for update在springboot里实现分布式锁
// mapper，注意，这里的参数最好就是主键或者唯一键，否则产生的是表锁 @Select("<script> select* from foo where id = #{id} for update</script>") Foo selectForUpdateById(@Param("id") ......
centos7搭建kubernetes-v1.25.1集群（Containerd作为运行时）
集群配置 节点名称内存硬盘处理器内核总数ip master 6GB 40GB 6 192.168.67.166 node1 6GB 40GB 6 192.168.67.167 node2 6GB 40GB 6 192.168.67.168 一、所有节点更改镜像源 curl -o /etc/yum.r ......