集群hdfs-ha hdfs ha
Hadoop集群启停命令以及Web UI界面的相关介绍
# 1、Hadoop集群的启停命令（我是将文件都配置好了，直接使用最方便的启停命令就能进行使用） ``` start-all.sh stop-all.sh ``` # 2、HDFS集群的Web UI界面  # 问题 ......
条条大路通罗马系列—— 使用 Hiredis-cluster 连接 Amazon ElastiCache for Redis 集群
前言 Amazon ElastiCache for Redis 是速度超快的内存数据存储，能够提供亚毫秒级延迟来支持 实时应用程序。适用于 Redis 的 ElastiCache 基于开源 Redis 构建，可与 Redis API 兼容，能够与 Redis 客户端配合工作，并使用开放的 Redis ......
基于keepalived+gtid半同步主从复制的MySQL集群
一. GTID半同步复制+ansible配置 半同步复制要先在mysql里安装这个插件 ```mysql root@(none) 14:37 mysql>INSTALL PLUGIN rpl_semi_sync_slave SONAME 'semisync_slave.so'; ``` ```she ......
最新版 redis-py 操作 redis(同步、异步、集群、连接池)
现在的 Python 异步操作 redis，有三种（ aredis 、aioredis、asynio_redis) 但是都不推荐 ### 背景 从 redis.py 4.2.0rc1+ 开始，Aioredis 已经集成到 redis-py 中，并且 Aioredis 将不再更新维护, 导入方式：fr ......
elasticsearch由单节点部署成3节点的集群
环境:OS:Centos 7ES:6.8.5目前拓扑:单节点的ES(带密码验证)当前节点ip:192.168.1.105 新增节点ip:192.168.1.106192.168.1.107 ########################当前节点的配置情况###################### ......
ceph-deploy部署ceph集群 nautilus 14.2.22
## 规划 | 主机名 | IP地址 | 系统 | ceph版本 | ceph硬盘 | 大小 | 组件 | 规划 | | | | | | | | | | | master | 192.168.1.60 | CentOS7.9 | ceph-15.2.10 | sdb | 100G | OSD、MOD ......
搭建k8s集群错误
1 etcd ``` 8月 10 14:12:32 k8master-1 etcd[23435]: {"level":"warn","ts":"2022-08-10T14:12:32.069+0800","caller":"rafthttp/http.go:500","msg":"request c ......
使用 RKE 方式搭建 K8s 集群并部署 NebulaGraph
 > 本文由社区用户 Albert 贡献，首发于 NebulaGraph 论坛，旨在提供多一种的部署方式使用 NebulaGraph。 在本文， ......
docker-compose快速部署elasticsearch-8.8.1集群+kibana+logstash
安装环境 centos7.9 8cpu 16G 内存 vda50 G vdb 100G 如果您的环境是Linux，注意要做以下操作，否则es可能会启动失败用编辑工具打开文件/etc/sysctl.conf在尾部添加一行配置vm.max_map_count = 262144，如果已存在就修改，数值不能 ......
docker-compose快速部署elasticsearch-8.8.1集群+kibana+logstash
安装环境 centos7.9 8cpu 16G 内存 vda50 G vdb 100G 如果您的环境是Linux，注意要做以下操作，否则es可能会启动失败 用编辑工具打开文件/etc/sysctl.conf 在尾部添加一行配置vm.max_map_count = 262144，如果已存在就修改，数值 ......
Redis从入门到放弃（9）：集群模式
前面文章我们介绍了Redis的主从模式是一种在Redis中实现高可用性的方式，但也存在一些缺点。 ## 1、主从模式缺点 * **写入单点故障：**在主从模式中，写入操作只能在主节点进行，如果主节点宕机，写入将无法执行。虽然可以通过升级从节点为主节点来解决，但这会增加故障切换的复杂性。 * **写入 ......
带你走进数仓大集群内幕丨详解关于作业hang及残留问题定位
本文分享自华为云社区《【带你走进DWS大集群内幕】大集群通信：作业hang、残留问题定位》，作者： 雨落天穹丶。 前言： 测试过程中，我们会遇到这样一种情况，我的作业都执行很久了，为啥还不结束，是不是作业hang掉了？ 或者说，明明看到CN上的作业都没了，为什么通过全局视图发现DN上还有作业在执行而 ......
kafka集群监控EFAK搭建
源码包准备 1.上传包 export KE_HOME=/home/secure/prom/kafka-eagle-bin-3.0.1/efak-web-3.0.1 export PATH=$PATH:$KE_HOME/bin source /etc/profile 2.安装mysql EFAK配置修 ......
集群的水平扩展和垂直扩展有什么区别？
水平扩展（Horizontal Scaling）和垂直扩展（Vertical Scaling）是两种常见的扩展方法，用于提高系统的性能和容量。 它们在集群中用于增加计算资源，但采用不同的方式实现。 1. 水平扩展（Horizontal Scaling） 水平扩展是通过增加集群中的节点数量来增加系统的 ......
HDFS内存估算方法（看这一篇就够了）
背景提要： 场景为1PB数据，平均文件大小为2MB，并且每个文件都携带100个HDFS标签属性（实际不会这么多）。 计算方法如下: 对的，扩展属性会存储在HDFS的元数据中，因此当有大量文件携带扩展属性时，会对NameNode的内存占用产生影响。 在这个新的情况下，我们假设每个文件携带100个扩展属 ......
Windows11使用docker desktop安装kafka&zookeeper集群
# docker-compose安装zookeeper集群 参考文章：http://t.csdn.cn/TtTYI https://blog.csdn.net/u010416101/article/details/122803105?spm=1001.2014.3001.5501 准备工作： 在 ......
Zookeeper 集群 + Kafka 集群
[toc] ## 一、Zookeeper 概述 ### 1. Zookeeper 定义 Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目 ### 2. Zookeeper 工作机制 Zookeeper从设计模式角度来理解： 是一个基于观察者模式设计的分布式服务管理框 ......
数仓 Hive HA 介绍与实战操作
[TOC] ## 一、概述 在数据仓库中，`Hive HA（High Availability）` 是指为 `Apache Hive` 这个数据仓库查询和分析工具提供高可用性的架构和解决方案。Hive是建立在Hadoop生态系统之上的一种数据仓库解决方案，用于处理大规模数据的查询和分析。为了确保Hi ......
Kafka集群
Kafka集群使用消息队列，通过异步处理请求，从而缓解系统的压力。消息队列常应用于异步处理，流量削峰，应用解耦，消息通讯等场景。 目录 1.Kafka 概述 2.消息队列好处 3.消息队列的模式 4.Kafka 的特性 5.Kafka 系统架构 6.部署 kafka 集群 7.总结 1.Kafka ......
Zookeeper集群
Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。也就是说 Zookeeper = 文件系统 + 通知机制。 目录 一、Zookeeper 概述 二、Zookeeper 工作机制 三、Zookeeper 特点 四、Zookeeper 数据结构 五、Zookeep ......
Hadoop完全分布式集群安装
# Hadoop完全分布式集群安装 >使用版本: hadoop-3.2.0 ## 安装VMware 看一下这张图，图里面表示是三个节点，左边这一个是主节点，右边的两个是从节点，hadoop集群是支持主从架构的。 不同节点上面启动的进程默认是不一样的。 ![](https://img2023.cnbl ......
centos7.9 部署mongodb-4.4.18 分片集群
### 准备基本环境 名称|ip地址|cpu|内存|es监听端口 --|:--:|:--|:--|:-- redis-651|10.0.2.1|8c|64G|9200 redis-652|10.0.2.2|8c|64G|9200 redis-653|10.0.2.3|8c|64G|9200 ......
拷贝完集群需要做什么
>流年似飞雪: 结论：拷贝集群后不用重新配置网络 >知识: ip由四位组成,前三位是网络标识 最后一个是端口ip 你原先用的主机网络标识符是192.168.10,拷过来的集群的网络标识符为192.168.111,就把第三位的10改成111,网络标识得和拷过来的主机一致,都是192.168.111 > ......
Mongodb主从复制/ 副本集/分片集群介绍
来源： https://cloud.tencent.com/developer/article/1026185 前面的文章介绍了Mongodb的安装使用，在 MongoDB 中,有两种数据冗余方式,一种 是 Master-Slave 模式（主从复制）,一种是 Replica Sets 模式（副本集） ......
Kubeasz 安装Kubernetes高可用集群
[TOC] # Kubeasz 安装Kubernetes高可用集群 ## 一、集群规划和基础参数设定 > 官网: https://github.com/easzlab/kubeasz/blob/v3.6/docs/setup/00-planning_and_overall_intro.md ### ......