集群
Zookeeper集群一键启停脚本
1.创建脚本 vi /bin/zk.sh #!/bin/bash if [ $# -lt 1 ] then echo "No Args Input..." exit ; fi case $1 in "start"){ for i in hadoop102 hadoop103 hadoop104 do ......
redis集群搭建
集群的目的：解决redis的高可用及高并发 搭建流程： 搭建三主三备集群 1、配置文件修改 2、启动6个服务： 3、集群启动命令（启动前记得开放阿里云端口7001/7006和17001/17006）： redis-cli --cluster create 101.201.100.200:7001 1 ......
ZooKeeper 3.9.1 集群模式安装
准备三台集群节点 1.下载ZooKeeper 3.9.1 https://dlcdn.apache.org/zookeeper/zookeeper-3.9.1/apache-zookeeper-3.9.1-bin.tar.gz 2.安装JDK Linux 安装Openjdk 3.解压 mkdir / ......
论文精读—多智能体算法在无人机集群的运用
导：“在阅读一篇论文后，要对这几个方面有清晰的认识，动机、创新点和实验设计，外加自己对这篇论文有什么想法” 论文解读：本文组织如下:第二节介绍了相关工作，第三节介绍了大规模搜索场景和系统模型，第四节详细介绍了基于marl的无人机群搜索方法，第五节讨论了仿真设置和实验结果，第六节总结了本文。 建模思考 ......
【云原生 | Kubernetes 系列】—K8S部署RocketMQ集群（双主双从+同步模式）
【云原生 | Kubernetes 系列】—K8S部署RocketMQ集群（双主双从+同步模式） 版权 本文为云录原创文章，转载无需和我联系，但请注明来自云录 https://www.yunzhuan.site rocketMQ高可用有很多种方式，比如：单机部署，多主集群，双主双从同步部署，双主双从 ......
Linux安装zookeeper(伪集群)
环境: 系统: Alibaba Cloud Linux 3 (Soaring Falcon) jdk: jdk8 1.下载安装包 zookeeper官网: https://zookeeper.apache.org/releases.html 找到对应版本,这里以稳定版 3.8.3 为例,在节点上下载 ......
Docker部署系列之Docker Compose安装Redis三主三从集群
总结/朱季谦 在日常开发或者编程当中，经常需要用到redis集群，若是按照传统的方式，一个机器一个机器搭建，难免过于繁琐，故而可以通过dock er-compose编排方式，快速搭建。我在搭建过程当中，将操作记录下来，方便以后需要搭建三主三从节点时，可以基于以前的成功经验，快速搭建起来。 一、环境准 ......
华为云耀云服务器L实例-大数据学习-单台服务器配置伪分布式模式hadoop集群
华为云耀云服务器L实例-大数据学习-单台服务器配置伪分布式模式hadoop集群 产品官网：https://www.huaweicloud.com/product/hecs-light.html 今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例，演示单 ......
华为云CCE集群健康中心：一个有专家运维经验的云原生可观测平台
本文分享自华为云社区《新一代云原生可观测平台之华为云CCE集群健康中心》，作者：云容器大未来。 "Kubernetes运维确实复杂，这不仅需要深入理解各种概念、原理和最佳实践，还需要对集群的健康状态、资源利用率、容器的稳定性等多个方面进行风险评估。当集群出现故障时，我们通常需要花费大量时间来分析各种 ......
elasticsearch安装部署（单机和集群）
一、单机模式 1、单机模式，下载对应es包，此次使用版本为7.8.0版本并解压 -rw-r--r--. 1 root root 319112561 12月 28 15:39 elasticsearch-7.8.0-linux-x86_64.tar.gzmkdir es_standalonemv el ......
记录一次 OpenStack 集群在创建虚机后无法获取 IP 的问题
现象 所有的组件状态都是正常工作的，DHCP 服务正常工作，在个个虚拟网络设备端口抓包，发现 OpenVSwitch 上 DHCP 包可以通行，虚机获取 DHCP Discover 请求可以正常发出，但是无法收到回包。 抓包命令 tcpdump -i eth0 udp port 67 or port ......
阿里云 ACK 云上大规模 Kubernetes 集群高可靠性保障实战
本文基于 ACK 稳定性保障实践经验，帮助用户全面理解 ACK 稳定性理论和优化策略，并了解如何使用相应的工具和服务进行稳定性保障。 ......
使用容器快速在阿里云 ECS 多节点上搭建 Citus 12.1 集群
阿里云 ECS 机器节点 这里我们使用两台同一区域的 ECS 机器。 机器配置：2 核 2 G。(ps: 阿里云 99 元一年的活动) 一台安装 coordinator(协调器)，这里内网 IP 为 172.18.60.11 一台安装 worker，这里内网 IP 为 172.18.60.12 操作 ......
死锁、内部碎片、外部碎片、多进程/多线程、服务器高并发、集群
死锁：两个（多个）线程互相等待对方数据的过程 1.死锁产生条件（解决办法）： 🔴 互斥条件：所需求的资源具有排他性，其他请求进程只能等待（可以允许多进程、多线程访问） 🔴 不剥夺条件：未主动释放，不能被其他进程夺走（可以强制剥夺） 🔴 请求和保持：进程或线程至少持有一个资源，并且在等待其他资源 ......
06-redis的cluster集群
一、介绍 Redis 集群是一个可以在多个 Redis 节点之间进行数据共享的设施（installation）。 Redis 集群不支持那些需要同时处理多个键的 Redis 命令， 因为执行这些命令需要在多个 Redis 节点之间移动数据， 并且在高负载的情况下， 这些命令将降低 Redis 集群的 ......
EMQX集群的创建和使用
EMQX的安装 Ubuntu 本页将指导您如何在 Ubuntu 系统中下载安装并启动 EMQX。 通过 Apt 源安装 EMQX 支持通过 Apt 源安装，免除了用户需要手动处理依赖关系和更新软件包等的困扰，具有更加方便、安全和易用等优点。如希望通过 Apt 源安装 EMQX，可参考如下步骤。 1. ......
Logstash：如何连接到带有 HTTPS 访问的集群
https://blog.csdn.net/UbuntuTouch/article/details/126868040 前段时间，有一个开发者在评论区问了一个问题：如何运用 Logstash 采集数据，并写入到带有 HTTPS 的 Elasticsearch 集群中。我们知道，在 Elasticse ......
minio集群的部署【nginx+minio]
1、 配置MinIO集群配置本地解析在/etc/hosts中配置 vim /etc/hosts #添加以下内容，每台MinIO节点都需要配置 192.168.5.1 minio-1 192.168.5.2 minio-2 192.168.5.3 minio-3 192.168.5.4 minio-4 ......
GlusterFS集群安装
GlusterFS集群安装 GlusterFS 参考链接：https://zhuanlan.zhihu.com/p/586419358 安装环境准备 服务器编号 OS IP GFS1 CentOS7.9-2009 192.168.1.15 GFS2 CentOS7.9-2009 192.168.1. ......
如何通过port-forward命令在本地访问 k8s 集群服务
公众号「架构成长指南」，专注于生产实践、云原生、分布式系统、大数据技术分享 概述 在我们访问k8s中的pod服务时，一般通过node port映射pod端口进行访问，还有一种是通过ingress或者istio通过域名方式来访问，虽然两种方式能满足我们需求，但是如果针对临时访问，配置起来还是有点复杂和 ......
mysql集群模式分析
集群的好处 高可用性：故障检测及迁移，多节点备份。 可伸缩性：新增数据库节点便利，方便扩容。 负载均衡：切换某服务访问某节点，分摊单个节点的数据库压力。 集群要考虑的风险 网络分裂：群集还可能由于网络故障而拆分为多个部分，每部分内的节点相互连接，但各部分之间的节点失去连接。 脑裂：导致数据库节点彼此 ......
Redis 分片集群搭建并使用 RedisTemplate 实现读写分离
上篇博客介绍了 Redis 哨兵集群的搭建，虽然已经解决了 master 在宕机后，与 slave 之间会自动切换的问题，但是其承载的数据量天花板仍然是单机的最大内存容量，无法承载更多的数据量。 本篇博客介绍 Redis 分片集群的搭建，集群内部拥有多个 master 节点，每个 master 存放 ......
Hadoop集群迁移(元数据及HDFS数据）
1.背景 老集群采用的腾讯emr集群，使用过程中磁盘扩容成本费用高且开源组件兼容性存在问题，因此决定采用自建hadoop集群，需要将emr的元数据和hdfs基础数据迁移过来。 EMR版本：3.1.2 自建Hadoop版本：3.1.3 2.集群迁移步骤 2.1 数据迁移 nohup hadoop di ......
集群和服务器的区别
001、服务器（server） 01、服务器是一台独立的计算机或计算机系统（物理设备）， 也可以是虚拟机或容器等虚拟化技术创建的逻辑实体， 用于提供特定的服务或功能。 02、服务器负责处理客户端的请求，并提供所需的服务，如网站托管、数据库存储、文件共享等。 03、服务器通常作为单个实体运行，具有自己 ......
VMware搭建集群环境
集群地址分配 名称 IP 子网掩码 网关 DNS flink01 192.168.22.211 255.255.255.0 192.168.22.2 114.114.114.114 flink02 192.168.22.212 255.255.255.0 192.168.22.2 114.114.1 ......
Redis 哨兵集群搭建并使用 RedisTemplate 实现读写分离
上篇博客介绍的 Redis 主从集群搭建，有一个缺点就是 master 和 slave 的角色是固定的，不会发生变化。一旦 master 节点宕机，那么集群就只能提供读服务，无法提供写服务。本篇博客介绍 Redis 哨兵集群的搭建，可以监控 Redis 集群的 master 和 slave 节点，最 ......
TDSQL集群扩容DB节点
具体步骤见百度云盘：https://pan.baidu.com/s/1zMrjhckI2I4O1G1RzC09uQ 提取码：h5mm。本文档适用于TDSQL(MYSQL版)和TDSQL(PG版)。内容如下： 一、以下步骤在新增机器上面执行：1、检查audit服务（Mysql版本特有）：systemc ......
短视频app开发，集群容错策略的代码分析
短视频app开发，集群容错策略的代码分析 1 Failover Failover故障转移策略作为默认策略，当短视频app开发中的消费发生异常时通过负载均衡策略再选择一个生产者节点进行调用，直到达到重试次数。即使业务代码没有显示重试，也有可能多次执行消费逻辑从而造成重复数据： public class ......
YARN集群中应用程序的执行流程
Hello，各位“极客”好，上一篇文章中介绍了YARN集群架构的基本内容，那么，在YARN集群中应用程序的执行流程是怎样的呢？这个问题很重要，就要好好说道说道了...... 客户端提交应用程序（可以是MapReduce程序、Spark程序等）到ResourceManager。 ResourceMan ......