集群hdfs-ha hdfs ha
Elasticsearch 可视化集群工具 Cerebro
目录一、概述二、开始安装 Cerebro1）下载 Cerebro2）安装JDK113）部署 ElasticSearch4）启动服务5）Cerebro 功能讲解1、总览信息2、节点信息3、rest接口请求4、更多功能（创建索引、集群设置、snapshot信息等）5、如果索引的分片分布不均匀，可以选中某 ......
14、liunx环境下部署分布式压测集群
一、java环境安装与配置 官网下载jdk-15.0.1_linux-x64_bin.tar.gz，上传到liunx服务器（官网跳转） 解压文件：tar -xzf jdk-15.0.1_linux-x64_bin.tar.gz，生成文件夹jdk-15.0.1 在/usr/目录下创建java文件夹，将 ......
NAT模式LVS负载均衡集群
NAT模式LVS负载均衡集群 负载调度器：内网 网关 ens33：192.168.1.200，外网 网关 ens36：12.0.0.10 Web节点服务器1：192.168.1.100 Web节点服务器2：192.168.1.101 NFS服务器：192.168.1.102 客户端：12.0.0.1 ......
【k8s】k8s构建mysql双主集群
背景 当前很多开源系统都是基于k8s，而部署时会遇到组件包含mysql的情况。理想的情况下，是将mysql迁移到云上托管。但实际情况可能比较复杂，比如这个开源框架需要mysql的DML权限，但是公司DBA不提供； 而基于k8s部署mysql的问题是，这个mysql集群往往是单点的。一般mysql会依 ......
【8.0】Redis主从复制和哨兵集群
【一】主从复制 【1】引入 原因 ： redis 单实例 机器故障；容量瓶颈；QPS瓶颈 主从复制：一主一从，一主多从 做读写分离 做数据副本 扩展数据性能 一个master可以有多个slave 一个slave只能有一个master 数据流向是单向的，从master到slave 【2】主从原理 主从 ......
Hadoop基础学习1(SSHfinalshell、vim、别名、hadoop集群)
1.SSH协议 SSH协议为Secure Shell的缩写，是一种网络安全协议，转为远程的登录会话和其他网络服务提供安全性的协议。 在Linux中，SSH的主要用途有：用户加密实现远程登录，服务器之间的免密登录。 SSH协议默认采用RSA算法实现非对称加密，需要两个密钥：公开密钥和私有密钥。 公钥和 ......
初探redis集群
集群搭建（windows） 准备多个redis环境，修改各自的redis.windows.conf, 关注如下配置 a. port b. 打开注释cluster-config-file yes c. cluster-config-file 设置为不同的名字 d. cluster-node-timeo ......
FAILED: SemanticException Unable to determine if hdfs://localhost.localdomain:9000/root/software/apache-hive-3.1.2-bin问题的解决
# 问题描述 在hive数据库里面，使用select语句对表的数据进行查找，就出现了这个错误:  # 问题解决 这 ......
部署K8S 1.28版本集群部署（基于Containerd容器运行）
1、主机配置 hostnamectl set-hostname k8s-masterecho "172.21.131.89 k8s-master" >> /etc/hostssystemctl stop firewalld && systemctl disable firewalldsetenfor ......
卸载Ceph集群中的OSD
# 卸载Ceph集群中的OSD ```sh 要卸载Ceph集群中的OSD（对象存储守护程序），您可以按照以下步骤执行。 请注意，在卸载OSD之前，请确保您已经安全备份了Ceph集群中的数据，因为卸载OSD将导致数据重新平衡和迁移。 ``` ## 1.**停用OSD** 在卸载OSD之前，您需要将它们 ......
静态搭建etcd集群(二进制安装)
| 软件 | 版本 | | | | | etcd | v3.5.9 | | cfssl | v1.6.4 | ### 一、下载文件 方法 步骤2：NameNode校验请求文件的路径，权限等问题，校验成功后返回FSDateInputsteam 步骤3：用户向NameNode请求文件与block的关系，通过映射获取文件block块位置 步骤4：通过机架感知策略就近原则，获取最近b ......
HDFS写流程(微观层面)
解释: 步骤1：客户端首先将数据加载到内存中，变成很多的package大小默认为64K，package由两个部分组成，header里面包含了很多的位置信息， 例如属于哪个block，在block什么位置，data部分是存储数据 步骤2：通过FSDateOutputStream将block运输到数据管 ......
Elasticsearch7.8集群实践记录之下线节点
1.背景：由于机房迁移需要将elasticsearch集群进行跨机房搬迁，采取先扩容再收缩的方式进行，已有效减小对业务环境的影响。当前需要将老的节点有序下线。 2.操作步骤： 1.检查集群配置，保证主节点的可用性； # 设置 minimum_master_nodes 为 2 curl -XPUT ' ......
54-Kubernetes集群资源监控-监控指标和方案
集群资源监控 1.监控指标 集群监控 节点资源利用率（node1/2节点，每个节点cpu用了多少还剩多少） 节点数（3个在忙碌1个在空闲状态要考虑节点数的监控） 运行pods（1个节点运行了多少pod） Pod监控 容器指标（pod中运行了多少容器） 应用程序（看到当前集群的完整情况） 2.监控平台 ......
Elasticsearch7.8集群实践记录
1.背景：当需要开发团队搭建自有elasticsearch集群时候，需要先明确具体的应用场景，进而对可用性，性能以及容量进行评估。当前实践记录主要应用场景在于业务日志记录短暂保存以便提供近期数据查询，并选择elasticsearch版本7.8.0，可用性要求三个9，每日数据量月1.5T，数据保存大约 ......
kubeadm快速构建K8S1.28.1高可用集群
kubeadm快速构建K8S1.28.1高可用集群 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 ......
集群版 FastDFS 的部署和使用
生产环境中一般不可能将用户上传的文件存放在单机，绝大多数情况下会搭建文件服务器集群，确保文件的互相备份和高可用。上一篇博客已经对 FastDFS 分布式文件系统进行了介绍，这里不再赘述。由于我个人笔记本电脑性能有限，因此本篇博客将使用 2 台虚拟机搭建 FastDFS 集群，实现 2 台机器之间文件 ......
redis cluster集群安装（CentOS7 + redis 5.0.14）
Linux系统-部署-运维系列导航 redis cluster介绍 redis最开始使用主从模式做集群，若master宕机需要手动配置slave转为master；后来为了高可用提出来哨兵模式，该模式下有一个哨兵监视master和slave，若master宕机可自动将slave转为master，但它也 ......
kafka集群安装（CentOS7 + kafka 2.7.1）
Linux系统-部署-运维系列导航 kafka介绍 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了 ......
zookeeper集群安装（CentOS7 + zookeeper 3.7.0）
Linux系统-部署-运维系列导航 zookeeper介绍 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、 ......