集群tidb
大数据集群启动,关闭命令
# 集群开启,关闭命令 ## hadoop: **开启:dfs:start-dfs.sh;yarn:start-yarn.sh** **关闭:dfs:stop-dfs.sh;yarn:stop-dfs.sh** ## spark: **开启:sbin/start-all.sh** **关闭:sbin ......
【Redis】redis集群的 MASTER 与 SLAVE
这个问题,从一个坑说起: 部署了一个新环境,但发现服务一直在报错: ``` 2023-07-05 20:42:54.186 ERROR [ scheduling-1] o.s.s.s.TaskUtils$LoggingErrorHandler : Unexpected error occurred ......
linux LVS负载均衡集群
摘要:高并发时需要高性能的服务器,集群可以很好的增加服务器的性能,完成高并发的处理。 目录 一、集群概念 二、集群应用场景 三、集群分类 四、负载均衡集群架构 五、集群工作模式 六、LVS虚拟服务器 七、LVS负载调度算法 八、总结 一、集群概念 1.集群概念 多台主机构成一个整体,每个主机有自己的 ......
使用docker部署pg集群(postgresql+postgis+pgrouting+pgpool)
# 使用docker部署pg集群(postgresql+postgis+pgrouting+pgpool) ## 1,安装docker ```` yum install docker ```` ## 2,拉取docker容器 ```` docker pull hub-mirror.c.163.com ......
HDFS集群搭建:完全分布式
本文介绍了HDFS集群中单点故障:HDFS-HA解决方案以及因此引入的Journal Node、ZKFC、Active NameNode切换过程以及HA环境搭建启动等细节。 ......
hadoop集群配置 CentOS7 JDK安装 卸载
1 JDK下载 下载JDK8 下载地址 2 SSH访问需要安装JDK的服务器 3 检查是否有默认安装的JDK java-version 4 卸载自带JDK 4.1 检查系统安装的OpenJDK rpm -qa|grep openjdk -i 4.2 删除以上四项openjdk的安装包并且检查后显示删 ......
10.10.10.103 graylog单台docker-compose es集群分离docker-compose
centos7 cp -r /etc/yum.repos.d/ /etc/yum.repos.d.bak vim /etc/yum.repos.d/CentOS-Base.repo [base]name=CentOS-$releasever - Basebaseurl=https://mirrors ......
分布式锁解决集群下的方法抢占执行
问题描述: 启动两台heima-leadnews-schedule服务,每台服务都会去执行refresh定时任务方法 分布式锁:控制分布式系统有序的去对共享资源进行操作,通过互斥来保证数据的一致性。 分布式锁的解决方案: sexnx (SET if Not eXists) 命令在指定的 key 不存 ......
企业集群的应用 - LVS 负载均衡集群
[toc] ## 一、什么是集群 Cluster,集群、群集、横向扩展 由多台主机构成,但对外只表现为一个整体,只提供一个访问入口(域名与IP地址),相当于一台大型计算机。 使用价格昂贵的小型机、大型机 使用普通服务器构建服务群集 通过整合多台服务器,使用 LVS 来达到服务器的高可用和负载均衡,并 ......
Redis集群、部署Redis集群
Redis集群 集群概述 所谓集群,就是通过添加服务器的数量,提供相同的服务,从而让服务器达到一个稳定、高效的状态 单个redis存在不稳定性。当redis服务宕机了,就没有可用的服务了 单个redis的读写能力是有限的 Redis集群是为了强化redis的读写能力 redis集群中,每一个redi ......
聊聊不同集群的微服务如何通过feign调用
## 前言 之前业务部门的某项目微服务调用关系如下图 ![](https://img-blog.csdnimg.cn/img_convert/89177ad4877dca80d41596fefe4308d6.png) 后因业务改造需要,该项目需要将服务A部署到另外一个集群,但服务A仍然需要能调用到服 ......
redis集群故障无法自动提升slave
## 问题描述 生产redis集群(3master/3slave)部署在3台虚机上,每个虚机部署2个redis节点,挂了一台虚机导致redis集群异常,分析发现是挂了机器上是2master redis redis日志 ``` * MASTER REPLICA sync started # Error ......
在VMware虚拟机集群中,完成Hive的安装部署
# 更新密钥 rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022 # 安装Mysql yum库 rpm -Uvh http://repo.mysql.com//mysql57-community-release-el7-7.noarc ......
CDH集群环境下,添加作业用到的额外的jar包
`两次被这个问题折腾了,记录一下解决方案,并梳理一下各个路径的作用。` ## 问题现象 spark作业在通过 spark-submit提交到yarn后,出现 NoClassDefFound的报错 ![](https://img2023.cnblogs.com/blog/1826431/202307/ ......
es集群环境安装分词器elasticsearch-analysis-ik
环境:OS:Centos 7es:6.8.5拓扑:3节点的集群 1.下载地址https://github.com/medcl/elasticsearch-analysis-ik下载的版本需要跟es的版本保持一致我这里的es版本是6.8.5的,所以下载相应版本的分词器elasticsearch-ana ......
redis 用docker集群部署:三主三从
要在CentOS 7上使用Docker部署3个主Redis节点和3个从Redis节点,你可以按照以下步骤进行操作: 安装Docker:首先,确保已经安装了Docker。可以执行以下命令来检查是否已安装Docker: docker version如果未安装Docker,请根据Docker官方文档的指导 ......
使用kubeadm创建kubernetes集群
## 说明 环境准备,根据自己情况而定 | 节点名 | IP地址 | CPU | 内存 | 硬盘 | 操作系统 | Docker版本 | |:--:|:--:|:--:|:--:|:--:|:--:|:--:| | k8s-master | 172.31.2.214 | 8核 | 16G | 128 ......
K8S 部署seata 1.6.x高可用集群
## 写在之前 seata 1.6 无法注册到nacos 配置中心 下面有说原因。 > 2023年7月2日 gshelldon写的博客。 > 大于 1.4版本之后,配置文件就不是用registry.conf了所以按照官方的文档搭建都是坑。 > > 默认使用application.yml的配置文件进行 ......
redis集群部署
redis集群方式部署 原创 guanDove 运维DevOps 2023-06-26 23:58 发表于广东 收录于合集 #redis2个 #redis集群1个 集群正常工作至少需要3个主节点,本例子创建6个节点,三个主节点三个从节点,对应IP和端口如下: IP 端口 redis版本 10.9.2 ......
集群启动命令介绍
常用的进程启动命令如下: 一键启动YARN集群: $HADOOP_HOME/sbin/start-yarn.sh 会基于yarn-site.xml中配置的yarn.resourcemanager.hostname来决定在哪台机器上启动resourcemanager 会基于workers文件配置的主机 ......
jenkins集群 - HTMLreport测试报告
一、安装 HTML Publisher plugin 插件 插件下载地址 二、配置构建后步骤 三、编辑报告执行脚本 四、安装 Startup Trigger 和 Groovy 插件 1、安装原因: Jenkins为了避免受到恶意HTML/JS文件的攻击, 会默认将安全策略CSP设置为:sandbox ......
docker swarm 集群部署Kafka3.5,彻底告别zookeeper
### 介绍 > 1. 本次部署kafka3.5版本,彻底告别zookeeper时代,部署更加轻量,运维更加简单 > 2. 同时使用比较好用的kafka控制台redpandadata ### docker swam 集群搭建 - 详见我的另一篇博客 [Docker Swarm集群搭建](https: ......
Kubernetes集群 v1.27.3
## 基础环境 > 三个节点均需操作,以k8s-master为例 | 主机节点 | 进程 | IP配置 | 操作系统 | | : : | : : | : : | : : | | k8s-master | docker,kube-apiserver,etcd,kube-scheduler,kube-c ......
kubeadm在单master k8s集群中添加新节点
服务器信息 master1 10.38.0.50 master2 10.38.0.58 master3 10.38.0.166 node1 10.38.0.77 lb1 10.38.0.182 lb2 10.38.0.18 vip 10.38.0.144 1.安装及配置nginx+keepalive ......
k8s集群环境的搭建
1 环境规划 1.1集群类型 Kubernetes集群大致分为两类:一主多从和多主多从。 一主多从:一个Master节点和多台Node节点,搭建简单,但是有单机故障风险,适合用于测试环境。 多主多从:多台Master和多台Node节点,搭建麻烦,安全性高,适合用于生产环境。 为了测试方便,本次搭建的 ......
redis集群报错:MISCONF Redis is configured to save RDB snapshots, but it is currently not able to persist on disk.
之前在x86架构的服务器部署redis集群,未遇到题中问题;然而在ARM架构的服务器部署redis集群,第一次遇到如此问题。虽然问题已经解决,但不清楚问题的具体原因,在此做个记录。 性能测试过程中,通过pinpoint捕捉到如下报错: MISCONF Redis is configured to s ......
redis cluster集群搭建
> redis 6.2 ### 使用docker搭建redis cluster集群(3主3从) **所有的操作都在根目录~/Developer/docker-compose/redis-cluster-6.2执行** #### 创建配置文件 为了方便,写了个shell脚本,懒人必备 createCo ......