集群tidb

大数据集群启动,关闭命令

# 集群开启,关闭命令 ## hadoop: **开启:dfs:start-dfs.sh;yarn:start-yarn.sh** **关闭:dfs:stop-dfs.sh;yarn:stop-dfs.sh** ## spark: **开启:sbin/start-all.sh** **关闭:sbin ......
集群 命令 数据

【Redis】redis集群的 MASTER 与 SLAVE

这个问题,从一个坑说起: 部署了一个新环境,但发现服务一直在报错: ``` 2023-07-05 20:42:54.186 ERROR [ scheduling-1] o.s.s.s.TaskUtils$LoggingErrorHandler : Unexpected error occurred ......
集群 MASTER Redis redis SLAVE

linux LVS负载均衡集群

摘要:高并发时需要高性能的服务器,集群可以很好的增加服务器的性能,完成高并发的处理。 目录 一、集群概念 二、集群应用场景 三、集群分类 四、负载均衡集群架构 五、集群工作模式 六、LVS虚拟服务器 七、LVS负载调度算法 八、总结 一、集群概念 1.集群概念 多台主机构成一个整体,每个主机有自己的 ......
集群 linux LVS

使用docker部署pg集群(postgresql+postgis+pgrouting+pgpool)

# 使用docker部署pg集群(postgresql+postgis+pgrouting+pgpool) ## 1,安装docker ```` yum install docker ```` ## 2,拉取docker容器 ```` docker pull hub-mirror.c.163.com ......
集群 postgresql pgrouting postgis docker

HDFS集群搭建:完全分布式

本文介绍了HDFS集群中单点故障:HDFS-HA解决方案以及因此引入的Journal Node、ZKFC、Active NameNode切换过程以及HA环境搭建启动等细节。 ......
分布式 集群 HDFS

hadoop集群配置 CentOS7 JDK安装 卸载

1 JDK下载 下载JDK8 下载地址 2 SSH访问需要安装JDK的服务器 3 检查是否有默认安装的JDK java-version 4 卸载自带JDK 4.1 检查系统安装的OpenJDK rpm -qa|grep openjdk -i 4.2 删除以上四项openjdk的安装包并且检查后显示删 ......
集群 CentOS7 hadoop CentOS JDK

HDFS集群搭建:伪分布式

Hadoop集群的启动方式之一:伪分布式,特征是几个角色在相同的服务节点,细节讲解了如何做基础环境配置等。 ......
分布式 集群 HDFS

10.10.10.103 graylog单台docker-compose es集群分离docker-compose

centos7 cp -r /etc/yum.repos.d/ /etc/yum.repos.d.bak vim /etc/yum.repos.d/CentOS-Base.repo [base]name=CentOS-$releasever - Basebaseurl=https://mirrors ......
docker-compose compose docker 集群 10

分布式锁解决集群下的方法抢占执行

问题描述: 启动两台heima-leadnews-schedule服务,每台服务都会去执行refresh定时任务方法 分布式锁:控制分布式系统有序的去对共享资源进行操作,通过互斥来保证数据的一致性。 分布式锁的解决方案: sexnx (SET if Not eXists) 命令在指定的 key 不存 ......
分布式 集群 方法

企业集群的应用 - LVS 负载均衡集群

[toc] ## 一、什么是集群 Cluster,集群、群集、横向扩展 由多台主机构成,但对外只表现为一个整体,只提供一个访问入口(域名与IP地址),相当于一台大型计算机。 使用价格昂贵的小型机、大型机 使用普通服务器构建服务群集 通过整合多台服务器,使用 LVS 来达到服务器的高可用和负载均衡,并 ......
集群 企业 LVS

Redis集群、部署Redis集群

Redis集群 集群概述 所谓集群,就是通过添加服务器的数量,提供相同的服务,从而让服务器达到一个稳定、高效的状态 单个redis存在不稳定性。当redis服务宕机了,就没有可用的服务了 单个redis的读写能力是有限的 Redis集群是为了强化redis的读写能力 redis集群中,每一个redi ......
集群 Redis

聊聊不同集群的微服务如何通过feign调用

## 前言 之前业务部门的某项目微服务调用关系如下图 ![](https://img-blog.csdnimg.cn/img_convert/89177ad4877dca80d41596fefe4308d6.png) 后因业务改造需要,该项目需要将服务A部署到另外一个集群,但服务A仍然需要能调用到服 ......
集群 feign

redis集群故障无法自动提升slave

## 问题描述 生产redis集群(3master/3slave)部署在3台虚机上,每个虚机部署2个redis节点,挂了一台虚机导致redis集群异常,分析发现是挂了机器上是2master redis redis日志 ``` * MASTER REPLICA sync started # Error ......
集群 故障 redis slave

在VMware虚拟机集群中,完成Hive的安装部署

# 更新密钥 rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022 # 安装Mysql yum库 rpm -Uvh http://repo.mysql.com//mysql57-community-release-el7-7.noarc ......
集群 VMware Hive

CDH集群环境下,添加作业用到的额外的jar包

`两次被这个问题折腾了,记录一下解决方案,并梳理一下各个路径的作用。` ## 问题现象 spark作业在通过 spark-submit提交到yarn后,出现 NoClassDefFound的报错 ![](https://img2023.cnblogs.com/blog/1826431/202307/ ......
集群 环境 CDH jar

es集群环境安装分词器elasticsearch-analysis-ik

环境:OS:Centos 7es:6.8.5拓扑:3节点的集群 1.下载地址https://github.com/medcl/elasticsearch-analysis-ik下载的版本需要跟es的版本保持一致我这里的es版本是6.8.5的,所以下载相应版本的分词器elasticsearch-ana ......

redis 用docker集群部署:三主三从

要在CentOS 7上使用Docker部署3个主Redis节点和3个从Redis节点,你可以按照以下步骤进行操作: 安装Docker:首先,确保已经安装了Docker。可以执行以下命令来检查是否已安装Docker: docker version如果未安装Docker,请根据Docker官方文档的指导 ......
集群 docker redis

使用kubeadm创建kubernetes集群

## 说明 环境准备,根据自己情况而定 | 节点名 | IP地址 | CPU | 内存 | 硬盘 | 操作系统 | Docker版本 | |:--:|:--:|:--:|:--:|:--:|:--:|:--:| | k8s-master | 172.31.2.214 | 8核 | 16G | 128 ......
集群 kubernetes kubeadm

K8S 部署seata 1.6.x高可用集群

## 写在之前 seata 1.6 无法注册到nacos 配置中心 下面有说原因。 > 2023年7月2日 gshelldon写的博客。 > 大于 1.4版本之后,配置文件就不是用registry.conf了所以按照官方的文档搭建都是坑。 > > 默认使用application.yml的配置文件进行 ......
集群 seata K8S K8 8S

redis集群部署

redis集群方式部署 原创 guanDove 运维DevOps 2023-06-26 23:58 发表于广东 收录于合集 #redis2个 #redis集群1个 集群正常工作至少需要3个主节点,本例子创建6个节点,三个主节点三个从节点,对应IP和端口如下: IP 端口 redis版本 10.9.2 ......
集群 redis

集群启动命令介绍

常用的进程启动命令如下: 一键启动YARN集群: $HADOOP_HOME/sbin/start-yarn.sh 会基于yarn-site.xml中配置的yarn.resourcemanager.hostname来决定在哪台机器上启动resourcemanager 会基于workers文件配置的主机 ......
集群 命令

大数据学习--YARN集群部署

发现学习大数据,首先配置就很多,一点一点配置,出错一点就不行啊。 ......
集群 数据 YARN

jenkins集群 - HTMLreport测试报告

一、安装 HTML Publisher plugin 插件 插件下载地址 二、配置构建后步骤 三、编辑报告执行脚本 四、安装 Startup Trigger 和 Groovy 插件 1、安装原因: Jenkins为了避免受到恶意HTML/JS文件的攻击, 会默认将安全策略CSP设置为:sandbox ......
集群 HTMLreport jenkins 报告

docker swarm 集群部署Kafka3.5,彻底告别zookeeper

### 介绍 > 1. 本次部署kafka3.5版本,彻底告别zookeeper时代,部署更加轻量,运维更加简单 > 2. 同时使用比较好用的kafka控制台redpandadata ### docker swam 集群搭建 - 详见我的另一篇博客 [Docker Swarm集群搭建](https: ......
集群 zookeeper docker Kafka3 Kafka

Kubernetes集群 v1.27.3

## 基础环境 > 三个节点均需操作,以k8s-master为例 | 主机节点 | 进程 | IP配置 | 操作系统 | | : : | : : | : : | : : | | k8s-master | docker,kube-apiserver,etcd,kube-scheduler,kube-c ......
集群 Kubernetes 27.3 27 v1

kubeadm在单master k8s集群中添加新节点

服务器信息 master1 10.38.0.50 master2 10.38.0.58 master3 10.38.0.166 node1 10.38.0.77 lb1 10.38.0.182 lb2 10.38.0.18 vip 10.38.0.144 1.安装及配置nginx+keepalive ......
节点 集群 kubeadm master k8s

k8s集群环境的搭建

1 环境规划 1.1集群类型 Kubernetes集群大致分为两类:一主多从和多主多从。 一主多从:一个Master节点和多台Node节点,搭建简单,但是有单机故障风险,适合用于测试环境。 多主多从:多台Master和多台Node节点,搭建麻烦,安全性高,适合用于生产环境。 为了测试方便,本次搭建的 ......
集群 环境 k8s k8 8s

redis集群报错:MISCONF Redis is configured to save RDB snapshots, but it is currently not able to persist on disk.

之前在x86架构的服务器部署redis集群,未遇到题中问题;然而在ARM架构的服务器部署redis集群,第一次遇到如此问题。虽然问题已经解决,但不清楚问题的具体原因,在此做个记录。 性能测试过程中,通过pinpoint捕捉到如下报错: MISCONF Redis is configured to s ......

redis cluster集群搭建

> redis 6.2 ### 使用docker搭建redis cluster集群(3主3从) **所有的操作都在根目录~/Developer/docker-compose/redis-cluster-6.2执行** #### 创建配置文件 为了方便,写了个shell脚本,懒人必备 createCo ......
集群 cluster redis

Centos7 集群SSH无密码用户免密登录配置

例:配置集群1的A,B,C三台Centos7的test无密码用户免密登录 1,在A机器执行ssh-kengen生成秘钥,一路回车 [root@lms lms]# su - test [test@test ~]# ssh-keygen Generating public/private rsa key ......
集群 密码 Centos7 用户 Centos