集群hdfs-ha hdfs ha
【docker】docker中装Redis集群
一、搭建步骤 1、启动容器 #关闭防火墙 systemctl start docker 2、新建6个docker容器redis实例 docker run -d --name redis-node-1 --net host --privileged=true -v /data/redis/share/ ......
Linux环境配置redis集群启动、停止脚本
1、创建redisc脚本 vim /etc/init.d/redisc 2、编辑脚本内容 #!/bin/sh # chkconfig: 2345 80 90 # Simple Redis init.d script conceived to work on Linux systems # as it ......
Kafka 集群如何实现数据同步？
哈喽大家好，我是咸鱼 最近这段时间比较忙，将近一周没更新文章，再不更新我那为数不多的粉丝量就要库库往下掉了 T﹏T 刚好最近在学 Kafka，于是决定写篇跟 Kafka 相关的文章（文中有不对的地方欢迎大家指出） 考虑到有些小伙伴可能是第一次接触 Kafka ，所以先简单介绍一下什么是 Kafka ......
k8s集群节点配置GPU
默认已有以下前置条件 k8s 1.10+ 操作系统：麒麟v10 SP2（Centos，Ubuntu等见“安装NVIDIA Container Toolkit”中其他源配置） GPU驱动：已安装 官方文档：https://github.com/NVIDIA/k8s-device-plugin 一、验证 ......
NIFI系列---【Linux离线安装nifi集群】
1.环境准备 准备三台4c8g的centos7服务器，分别安装jdk8，zookeeper-3.4.9 node01 node02 node03 2.下载nifi安装包和nifi-toolkit-1.19.1-bin.zip安装包 下载地址:https://archive.apache.org/di ......
ZooKeeper集群脑裂问题处理，值得收藏！
转载自：https://cloud.tencent.com/developer/article/1758883 本文重点讲解ZooKeeper脑裂问题的处理办法。ZooKeeper是用来协调（同步）分布式进程的服务，提供了一个简单高性能的协调内核，用户可以在此之上构建更多复杂的分布式协调功能。脑裂通 ......
redis 集群部署
在生产环境不存在单体果奔的数据库，且云厂商rds等高可用数据库性价比极低，因此很多场景需要我们使用实例自建集群。本章介绍如何从0开始搭建redis7三主三从基础集群环境与故障迁移模拟测试。 预备姿势 vm模拟环境 vmware cetos7.9 //关闭防火墙与selinux redis7 | 6 ......
openGauss集群主库出现流复制延迟告警
问题描述：环境是openGauss 5.0集群，在一次意外重启数据库之后。收到了一个主库的主从延迟告警，只有从库才能出现延迟，主库怎么会出现了告警延迟 告警信息： Status: Resolved Hostname: hkuatxcrecondb01 IP Address: 192.168.163. ......
kk 工具安装K8S集群
设置时区 每个节点都要操作 timedatectl set-timezone Asia/Shanghai 查看时区 timedatectl 安装环境依赖 yum install -y socat conntrack ebtables ipset 安装时间同步 每个节点都要操作 yum install ......
分布式和集群概念
分布式和集群概念 分布式：每台机器上部署不同组件集群：每台机器上部署相同组件 大数据分布式存储、分布式计算 linux 桌面操作系统：mac os、windows、linux嵌入式操作系统：μlinux、wince、RTOS服务器操作系统：unxi、linux、Windows server、netw ......
手把手系列 - Ceph使用rbd及cephfs与k8s集群集成 - 三种方式实现
前言 本次详细部署 k8s、ceph 以及如何使用 ceph 作为 k8s 的外部存储。 主机信息 主机名 IP 说明信息 k8s-master 192.168.199.41 k8s master k8s-node01 192.168.199.42 node k8s-node02 192.168.1 ......
3大方面升级华为云CCE集群体验，助力集群高效运维管理
我们会持续在“过程业务无感”、“稳定高效升级”、“丝滑交互体验”等方面进行持续优化，让集群升级过程更简单、高效和可靠。 ......
docker 部署 rabbitmq集群
rabbitmq集群: pull: docker pull rabbitmq 普通模式(默认): what: 集群中各节点有相同的队列结构， 但消息只会存在于集群中的一个节点。 对于消费者来说， 若消息进入 A 节点的 Queue 中， 当从 B 节点拉取时， RabbitMQ 会将消息从 A 中取 ......
大数据集群备份
今天又备份了虚拟机集群。然后删除D盘的大数据，备份的放在F盘，让D盘有更多空间， 因为我的Anaconda安装在D盘中，而我创建了很多python虚拟环境，D盘当时有点空间不够了， 所以备份大数据到F盘。D可以更多空间。 ......
xixa oraclelinux上kafka集群部署(一)----kafka安装
kafka部署前提：需要安装jdk1.7以上版本、zookeeper 官网下载：http://kafka.apache.org/quickstart kafka配置 配置server.properties文件中zookeeper配置，如果集群应该怎么配置？还需要尝试 配置kafka集群 在bin目录 ......
以 Kubernetes 原生方式实现多集群告警
作者：向军涛、雷万钧 来源：2023 上海 KubeCon 分享 可观测性来源 在 Kubernetes 集群上，各个维度的可观测性数据，可以让我们及时了解集群上应用的状态，以及集群本身的状态。 Metrics 指标：监控对象状态的量化信息，通常会以时序数据的形式采集和存储。 Events：这里特指 ......
使用rancher rke快速安装k8s集群
概述 Rancher Kubernetes Engine（RKE）是一个用于部署、管理和运行Kubernetes集群的开源工具。旨在简化Kubernetes集群的部署和操作。 RKE具有以下特点和功能： 简化的部署过程 RKE提供了一个简单的命令行界面，使您可以轻松地部署一个完整的Kubernete ......
Kubernetes常用命令及yml文件、集群网络 Kubernetes组件介绍及环境搭建
Kubernetes常用命令及yml文件、集群网络 Kubernetes组件介绍及环境搭建 Kubernetes组件介绍及环境搭建 一、kubernetes常用命令 说明：因为k8s的命令都是通过kubectl组件接收的，这个组件只在master节点有，所以k8s的命令都是在master节点中执行 ......
Oracle集群RAC DG日常检查指令
目录操作系统进程检查Pmon检查负载检查数据库检查查看数据库打开状态和相关信息查找主库判断集群正常与否判断会话等待查看连接数 并与数据库配置对比判断集群和DG状态RACDG 操作系统进程检查 Pmon检查 pmon（Process Monitor process）用于监控其他后台进程。负责在连接出现 ......
ELK集群搭建-zabbix整合告警
ELK集群部署（三）ELK 是 elastic 公司旗下三款产品ElasticSearch、Logstash、Kibana的首字母组合，也即Elastic Stack包含ElasticSearch、Logstash、Kibana、Beats。ELK提供了一整套解决方案，并且都是开源软件，之间互相配合 ......
oraclelinux上kafka集群部署(一)----zookeeper安装
安装zookeeper需要先安装jdk，至少1.7以上版本。 下载：https://zookeeper.apache.org/releases.html#download 解压：tar -zvxf apache-zookeeper-3.8.3-bin.tar.gz 配置 进入zookeeper目录下 ......
Redis切片集群
切片集群 多个 Redis 实例组成一个集群，然后按照一定的规则，把收到的数据划分成多份，每一份用一个实例来保存。 Redis Cluster 定义 Redis官方提供的实现切片集群的方案，采用了16384个哈希槽用于处理数据和实例的映射关系。 首先根据key计算哈希槽hash_slot = CRC ......
Linux系统redis集群管理
本章节主要由四部分构成 集群中数据访问：请求重定向(moved)、call命令、Smart客户端 集群扩容：节点配置和启动节点、加入集群、迁移槽和数据 集群缩容：迁移槽和数据、下线节点 迁移相关：平衡（rebalance）slot 集群中的数据访问-重定向(MOVED) 1、首先进入一个客户端（任何 ......
docker-compose部署rocketmq集群
参考博文：https://blog.csdn.net/bacawa/article/details/130521794 1、安装docker-compose 2、通过docker search apache/rocketmq搜索镜像，本来想看一下镜像的版本，但是没有找到对应的命令，最后用了比较粗暴的 ......
Kurator v0.5.0发布，打造统一的多集群备份与存储体验
Kurator 是由华为云推出的开源分布式云原生套件。面向分布式云原生场景，Kurator 旨在为用户提供一站式的解决方案，帮助用户快速构建自己的分布式云原生平台。 ......
python连接redis集群写入数据
环境; Python:3.6.5 需要安装redis-py-cluster模块 #!/usr/bin/env python #coding=utf-8 from rediscluster import RedisCluster startup_nodes = [ {"host": "192.168. ......
PySpark判断Hdfs文件路径是否存在
背景 从ScalaSpark代码转PySpark代码，同时实现连续读多个文件，避免因某些路径不存在导致程序终止。 在Scala的Spark中可以直接导下面两个模块的包 import org.apache.hadoop.conf.Configuration import org.apache.hado ......
基于Docker Desktop搭建Kafka集群并使用Java编程开发
一、引言 前段时间因课业要求使用Docker Desktop 部署Kafka集群并编写生产者消费者程序，折磨了我好几天，在查找大量资料后终于是把整个集群搭建完成了。现在我想要分享其中搭建的历程，希望能为大家解决问题。 二、Docker集群构建 安装环境: Windows 10 2.1 启用或关闭wi ......
容器化-Docker集群
笔记 课程专题：微服务容器化 四、容器化-Docker集群 1、Docker集群理解 docker集群：多个docker实例组成的集合 1、保证docker高可用 2、解决项目高性能和高可用 docker集群搭建前提 docker集群内部概念 1、worker 工作者 运行项目 2、manager ......
1206-1303 Kubernetes集群的备份和还原 优化 Kubernetes全链路监控 12.6-13.3
一、Kubernetes集群的备份和还原 1.1 获取etcdctl二进制文件 查看etcd版本号 # kubectl -n kube-system exec -it $(kubectl get po -n kube-system |grep etcd- |head -1|awk '{print $ ......