集群hdfs-ha hdfs ha
【1】基于docker搭建hadoop+hive+spark+hbase+zookeeper+scale集群
1、设置主机上的虚拟缓存 当本地内存不足时，可以使用虚拟内存将一些内存数据转移到硬盘上，从而扩展计算机的内存容量。这样可以让计算机运行更复杂、更占用内存的程序，不会出现内存不足的情况。减轻物理存储器不足的压力，设置虚拟内存可以在内存不够的情况下将缓存一时放在硬盘上，解决内存不足问题。 通过虚拟内存， ......
oracle rac集群
操作系统：centos7.6 oracle: 19c 两台 RAC 服务器配置 hosts 文件 # cat /etc/hosts 192.168.3.37 rac1 192.168.3.105 rac2 192.168.2.2 racprv1 192.168.2.3 racprv2 192.168 ......
docker搭建minio集群
1、启动命令 分别在三台服务器上执行即可，需要修改下面http中的ip地址 docker run -id \ --name=minio \ --restart=always \ --network=host \ -p 9000:9000 \ -p 9090:9090 \ -e "MINIO_ROOT ......
ElasticSearch 无密码集群搭建、监控和使用
对于 ElasticSearch8 集群，比较容易的方式就是无密码集群搭建。对于 ElasticSearch 来说，一般都是运行在内网中，可以通过防火墙限制来源 ip 或者通过 ElasticSearch 自身的配置来限制来源 ip。这种保障安全的方式比较类似于 Redis 。 对于 Kibana ......
docker-搭建一主两备redis集群
一 目的 docker-搭建一主两备redis集群 概述：目前要搭建一个“一主两备”redis集群，这个三个容器中redis的端口号为默认的6379，对外暴露的端口为6701,6702,6703，其中6701为master。6702和6703为slave 二 实现 1. 准备三份配置文件 1.1 配 ......
apisix etcd集群数据备份恢复
#etcd数据备份 /home/apisix-etcd-backup.sh #!/bin/bash #创建备份目录 mkdir -p /data/{apisix-etcd-0,apisix-etcd-1,apisix-etcd-2} #apisix etcd数据备份 ETCDCTL_API=3 /o ......
大数据HDFS集群相关概念
一、Zookeeper服务 端口 描述 配置路径 2181 主要使用端口，对cline端提供服务。连接方式jdbc:hive2://ip:2181 conf/zoo.cfg中clientPort 2183 选举leader使用 conf/zoo.cfg中server.x=2182:2183 2182 ......
k3d创建k3s集群
安装go wget https://golang.google.cn/dl/go1.21.3.linux-amd64.tar.gz tar zxvf go1.15.3.linux-amd64.tar.gz mv go /usr/local/ vim /etc/profile在最结尾添加 export ......
分布式集群与多线程高并发
后台数据的处理语言有很多，Java 是对前端采集的数据的一种比较常见的开发语言。互联网移动客户端的用户量特别大，大量的数据处理需求应运而生。可移动嵌入式设备的表现形式 很多，如 PC 端，手机移动端，智能手表，Google 眼镜等。Server2client 的互联网开发模式比较常见，有一种新的数据 ......
HA CSP-S2023 游记/赛后总结
HA CSP-S2023 游记/赛后总结 赛前 赛前停课了两周，状态感觉不错。但赛后就要爬回去学文化课了，导致心态还是有一点小崩，搁那在动态里发癫，在机房小群里发癫，不过发完癫后感觉好点了，也有学长的鸡汤（）。 在郑大门口也是遇见了挺多熟面孔的，大多是集训的时候认识的，my，syl，cy，还有去年集 ......
基于docker容器，搭建hadoop+spark+hive+hbase+Zookeeper Scala集群
1.安装Docker和Docker Compose 2.下载镜像 docker pull bde2020/hadoop-base:2.0.0-hadoop3.2.1-java8 docker pull bde2020/hadoop-namenode:2.0.0-hadoop3.2.1-java8 d ......
ETCD集群key超出200w给etcd压力太大，导致集群调度器延迟
背景： 业务在做测试的时候，突然集群不可用了，无法做出变更了，找到我们平台侧，经过排查，发现controller-manager调度器出现问题，经过查看，调度器不可使用， 处理 方案： 删除etcd集群的key 查询etcd集群中的key的数量： #etcd的命令行 etcdctl="/opt/et ......
利用kubeadm创建高可用集群
前言 本页的高可用是控制平面组件的高可用部署，同时还分为2种情况：堆叠etcd和外部etcd。使用kubeadm部署多master节点很方便，大体是3个步骤：使用init参数初始化好第一个master节点，然后其余的master节点使用join命令加入到master集群中，形成一个高可用的maste ......
使用kubeadm创建集群
前言 k8s集群在Node节点数量少的情况下，逐台去维护是可行的，但是如果Node节点数量多的情况下，再去想着我大不了一台一台来维护可能就不现实了。而且k8s的每个版本都差不多只有14个月的支持时间。可能还没稳定下来，一个新的版本已经更新了。这样一来版本升级的工作就变的会比较多一些。为了能够保证k8 ......
大规模集群的注意事项
简介 一提到大规模这三个字，就联想到数据中心机房中一排排的物理服务器，在早期还是购买物理机找托管机房的年代，很多时间都在机房中维护服务器，那声音吵得耳朵疼，现在的运维工程师幸福多了。 注意事项 集群峰值 k8s1.28版本单个集群支持5000个工作节点，每个节点Pod数量不超过110，pod总数不超 ......
使用命令操作HDFS文件系统
HDFS文件系统基本信息 HDFS作为分布式存储的文件系统，有其对数据的路径表达方式。 HDFS同Linux系统一样，均是以/作为根目录的组织形式 Linux： /usr/local/hello.txt HDFS： /usr/local/hello.txt 命令行 # 老版本用法 hadoop fs ......
K8S集群搭建
集群搭建的几种方式 kubeadm 通过kubeadm init、kubeadm join快速部署集群。 二进制包 下载官方编译好的二进制文件，手动部署，比较麻烦。。 第三方工具、web端 第三方提供的部署工具、web部署端。 kubeadm部署k8s集群 实验环境 master节点： IP：10. ......
MongoDB分片+副本集高可用集群的启停步骤
■■ 集群启动步骤 1、先启动各节点的 config server mongod -f ${MongoDir}/conf/config.conf 2、再启动各节点的 shard server mongod -f ${MongoDir}/conf/shard1.conf 3、再启动各节点的 mongo ......
掌握 Kubernetes 故障排除：有效维护集群的最佳实践和工具
Kubernetes 是一款管理容器化应用程序的强大工具。然而，与任何复杂的系统一样，使用它时也可能出错。当问题出现时， 掌握有效的故障排除技术和工具非常重要。 本文将介绍以下步骤，助您了解事件收集的入门知识： 检索最新事件 使用 Pod 模拟问题 在位于 PV 的 Pod 中存储事件 检索最新事件 ......
两台实体机器4个虚拟机节点的Hadoop集群搭建（Ubuntu版）
安装Ubuntu Linux元信息 两台机器，每台机器两台Ubuntu Ubuntu版本：ubuntu-22.04.3-desktop-amd64.iso 处理器数量2，每个处理器的核心数量2，总处理器核心数量4 单个虚拟机内存8192MB（8G），最大磁盘大小30G 参考链接 清华大学开源软件镜像 ......
Redis 集群
sentinel模式基本可以满足一般生产的需求，具备高可用性。但是当数据量过大到一台服务器存放不下的情况时，主从模式或sentinel模式就不能满足需求了，这个时候需要对存储的数据进行分片，将数据存储到多个Redis实例中。cluster模式的出现就是为了解决单机Redis容量有限的问题，将Redi ......
kubeadm部署k8s集群
一、系统环境准备 1、系统环境说明 系统环境说明 系统 角色 IP 组件 K8s版本 centos7.9 kubeadm-master1 192.168.100.41 docker,kubeadm,kubelet,kubectl v1.20.0 centos7.9 kubeadm-master1 1 ......
hadoop集群 大数据项目实战_电信用户行为分析_day04
进行HIVE环境配置 1.上传相关的包 2.对上传的包进行下载和创建软连接 3.配置相关的文件 4.分别发送给其他机子 假设你需要在所有机器执行同一个指令，则你就需要相关设置 5.在hive的onf文件中创建hive-site.xml进行相关设置 ```xml<configuration> <-- ......
部署redis-cluster集群
参考： https://www.cnblogs.com/paul8339/p/11987345.html https://mikechen.cc/31360.html https://zhuanlan.zhihu.com/p/637366705 本文使用一台虚拟机部署6个不同端口的redis实例 1 ......
Oracle集群升级迁移—主机网络设置及交换机侧bond vlan划分
目录Oracle集群升级迁移—主机网络设置及交换机bond vlan划分网络规划操作系统层面的IP设置bond类型介绍设置bond1和bond0交换机侧的设置（省略） Oracle集群升级迁移—主机网络设置及交换机bond vlan划分 网络规划 按照工程师要求，配置了5个IP供集群使用。1个IP为 ......
CDH集群日志清理
CDH集群日志清理 一、查看磁盘占用情况 df -h 二、查看日志占用情况 cdh的各种组件日志一般在 /var/log 目录下，因此需要关注“/”根目录， 查看 /var/log 下使用空间较大的文件夹，并又大到小排列 cd /var/log/ du -s ./* |sort -nr 还有一个是 ......
山石防火墙HA配置--主备模式－－命令行
配置山石防火墙HA主备模式分为４部分 配置TRACK 配置HA组 配置HA链路 检查状态 1.配置track检测对象（非必须） 主备设备配置相同configtrack ha0 interface e0/1 interface e0/2 2.配置HA组属性 主 ｃｏｎｆｉｇ ha group 0pri ......
山石防火墙不同HA组需要配置不同的IP，不然接口地址MAC会冲突
配置山石防火墙HA和管理地址，调试之后，发现管理地址不通。 在网关设备上查看ARP信息，发现mac地址获取的位置不对，根据路径查询到另一组山石防火墙。 接口MAC地址竟然一样！！！！！！！！！ 询问客服得知是因为HA配置问题，两组防火墙HA IP地址不能相同。接口MAC地址是根据这个进行计算的。 这 ......
Oracle集群升级迁移——存储及主机连接配置
目录Oracle集群升级迁移——存储及主机连接配置存储映射新LUN给Oracle新集群旧存储删除multipath.conf删除相应磁盘将主机和主机组里剔除磁盘，在从LUN、LUN组删除新建磁盘映射给Oracle数据库（映射前需要划Zone）映射完毕，刷新主机配置并修改multipath.conf文 ......
VM部署HDFS集群
上传hadoop-3.3.4.tar.gz到/export/server 解压 tar -zxvf hadoop-3.3.4.tar.gz -C /export/server/ # 快捷方式 ln -s /export/server/hadoop-3.3.4 hadoop Hadoop安装包目录结构 ......