集群hdfs-ha hdfs ha
vivo 容器集群监控系统优化之道
本文介绍了vivo容器团队基于 Prometheus等云原生监控生态来构建的容器集群监控体系，在业务接入容器监控的过程中遇到的挑战、困难，并分享了相应的应对策略和优化方案。 ......
大数据之HDFS组件
HDFS是Hadoop三大组件(HDFS、MapReduce、YARN)之一 全称是：Hadoop Distributed File System（Hadoop分布式文件系统） 是Hadoop技术栈内提供的分布式数据存储解决方案 可以在多台服务器上构建存储集群，存储海量的数据 ......
Trino418版本动态加载catalog不需要重启集群修改思路及实现
熟悉Trino 的同学应该都知道Trino新增、删除 catalog 都需要重启集群，这个生产环境里如果需要频繁增加数据源的场景是非常不友好的操作。 网上关于动态加载Catalog的方案有一些，但是在Trino比较新的版本里面已经无法适用。 目前官方关于这个功能一直都没有完成，详细issue Dyn ......
HDFS shell 常用命令
创建多级目录（-p）： hadoop fs -mkdir -p /test/a/b 展示目录： hadoop fs -ls / 递归展示： hadoop fs -ls -R / 从HDFS上下载文件到本地： hadoop fs -get /test/a/b/h.txt hadoop fs -copy ......
kuboard部署在k8s集群中
kuboard部署在k8s集群中，yaml配置文件 ```shell #cat kuboard.yaml apiVersion: apps/v1 kind: Deployment metadata: labels: app: kuboard name: kuboard spec: replicas: ......
Weblogic集群部署
Weblogic集群部署 Weblogic包官方下载地址：https://www.oracle.com/cn/middleware/technologies/weblogic-server-downloads.html 服务规划： 我们使用2台设备进行搭建，其中一台设备上部署控制台管理节点和受管理节 ......
kubeadm 部署的集群升级教程
1、确定升级的集群版本，查看现有的集群版本 kubectl get nodes 2、执行如下命令确定升级的版本，目标版本是v1.27.4 yum list --showduplicates kubeadm --disableexcludes=kubernetes 3、升级master节点，所有mas ......
k1s 使用 nsenter 轻松实现调试 k8s 集群节点
## 调试宿主机 如果您的集群无外网，则无法下载基础镜像，需要设置内网镜像 ```sh export K1S_IMAGE="hub.local.io/alpine:lateset" ``` 基础操作命令： ```sh # 查看 node 列表 k1s no NAME STATUS ROLES AGE ......
Ubuntu 安装部署Kubernetes(k8s)集群
Ubuntu 安装部署Kubernetes(k8s)集群：Kubernetes概述，Kubernetes 组件，控制平面组件，Node组件，配置节点的基本环境，节点安装docker，并进行相关配置，安装kubelet，kubeadm，kubectl，kubeadm初始化，添加worker节点到k8s... ......
mysql复制技术、mysql集群
# mysql复制技术/mysql集群  ## 准备 1.四台虚拟机都关闭防火墙 ``` systemctl st ......
优化 Redis 集群缓存分配：解决节点间分配不均导致内存溢出问题
一、Redis 集群部署简介 在现代应用程序中，缓存被广泛应用以提高性能和减轻后端数据库的压力。本文将探讨面对 Redis 集群缓存分配不均问题时的解决方法。 我们的 Redis 集群部署包括 3 主 3 从，每个节点分配内存 4G（服务器总内存32G），内存淘汰策略相同：volatile-lru。 ......
Redis（2）：四种模式（单机、哨兵、集群、主从复制）部署
学习自：Redis 的四种模式 - 何童鞋 - 博客园 深入理解Redis的部署模式四种模式的探索（redis部署四种模式）-数据库运维技术服务 redis部署和运行原理 redis的三种部署方式_小咪咪的技术博客_51CTO博客 上一节：Redis（1）：四种模式（单机、哨兵、集群、主从复制）原理 ......
nacos 单机3节点 集群env
集群中包含 3 个 Nacos Server 节点，两个 Proxy 主备节点，Mysql 数据库主备 这里仅记录Nacos的安装 Nacos节点服务器节点 IP 端口 Nacos1 172.17.10.21 8858 (默认 8848) Nacos1 172.17.10.22 8858 (默认 8 ......
Kubernetes集群部署（三）
> 准备三台Linux虚拟机（K8S集群三台起步），系统用CentOS7.4，虚拟机配置是2颗CPU和2G内存（K8S最低要求的配置），网络使用桥接网卡方式并使用静态IP | 主机名 | IP地址 | 角色描述 | | | | | | k8s-master-192.168.245.11 | 192. ......
时序数据库TimescaleDB 功能介绍、单节点、集群安装部署、centos、linux
简介 Timescale Documentation | Getting started with Timescale Timescale是一个用于时间序列，事件和分析的PostgreSQL数据平台。 提供了PostgreSQL的可靠性，这是时间序列的超能力 TimescaleDB，。它提供 自动备 ......
聊聊在集群环境中本地缓存如何进行同步
## 前言 之前有发过一篇文章[聊聊如何利用redis实现多级缓存同步](https://mp.weixin.qq.com/s?__biz=MzI1MTY1Njk4NQ==&mid=2247507197&idx=1&sn=90b1be9d29f37fc7aba21ccf047fa6b3&chksm= ......
2-06-Nacos配置管理-Nacos集群搭建-not practice
# Nacos集群搭建 # 1.集群结构图 官方给出的Nacos集群图：  其中包含3个nacos节点，然后一个负载 ......
nacos集群部署
准备nacos 一般集群需要至少3个节点。我们先准备3台机器： 192.168.11.200、192.168.11.196、192.168.11.126 nacos 的默认服务端口是 8848 ，但是由于 我们的机器上还有其他nacos 服务正在作用，所以， 我们这里把端口改为 8748， 如下： ......
中电金信：技术实践｜Flink多线程实现异构集群的动态负载均衡
导语：Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。本文主要从实际案例入手并结合作者的实践经验，向各位读者分享当应用场景中异构集群无法做到负载均衡时，如何通过Flink的自定义多线程来实现异构集群的动态负载均衡。 ● 1. 前言 ● 2. 出现的问题与解决 ......
Redis 持久化及集群架构
本篇技术博文将深入探讨 Redis 持久化机制的原理、配置和使用方式。我们将介绍两种常用的持久化方式：RDB 持久化和 AOF 持久化。您将了解到它们的工作原理、优缺点以及如何根据需求选择合适的持久化方式。
通过深入学习 Redis 持久化及集群架构，您将能够构建稳定、可靠并具备高可用性的 Red... ......
etcd集群恢复
etcd 概述 etcd 是 CoreOS团队于2013年6月发起的开源项目，它的目标是构建一个高可用的分布式键值(key-value)数据库。 etcd 内部采用 raft 协议作为一致性算法，etcd基于Go语言实现。 完全复制：集群中的每个节点都可以使用完整的存档 高可用性：Etcd可用于避免 ......
WARNING: Use of this script to execute namenode is deprecated. WARNING: Attempting to execute replacement "hdfs namenode" instead.问题的解决
# 问题描述 在我使用这个命令进行hdfs初始化时： ``` hadoop-daemon.sh start namenode ``` 爆出了这样的警告 # 问题解决 发现是这个命令现在已经有一点过时，需要换成这个命令才行： ``` hdfs namenode ``` ......
当kafka集群其中一台宕机后，集群不能正常工作（已解决）
https://blog.csdn.net/DreamsArchitects/article/details/108573887?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefaul ......
HDFS工作流程与机制
# 1、各个角色的职责  主角色：NameNode  # HDFS应用场景 ![](https://img2023 ......
redis 集群
Redis集群集群解决的问题代理主机和无中心化集群Redis集群的特点Redis集群环境搭建slots（插槽）在集群中录入值查询集群中的值故障恢复Redis集群的优缺点集群解决的问题服务器的容量不足或者进行并发写操作的用户过多等情况下可以使用多台Redis集群的方式缓解压力。 注：（高并发的写操作， ......
Hadoop----hdfs dfs常用命令的使用
-mkdir 创建目录 hdfs dfs -mkdir [-p] < paths> -ls 查看目录下内容，包括文件名，权限，所有者，大小和修改时间 hdfs dfs -ls [-R] < args> -put 将本地文件或目录上传到HDFS中的路径 hdfs dfs -put < localsrc ......
rancher2.7.5创建集群
通过安装rancher2.7.5（dokcer版本）步骤,我们已经将docker单机版的rancher安装完成了，下面我们通过图形界面创建集群，首先我们先看一下rancher的首页信息： 1.点击首页进入首页页面，然后点击创建按钮创建一个新的集群 2.点击完成后我们可以看到有Kubernetes集群 ......
23使用服务集群改善网站并发处理能力
增加服务器：一台变成N台 会出现几个问题： 哪一台服务器来转发请求（负载均衡） 请求的服务器，如何维护session的一致性（有状态与无状态的问题） 负载均衡： 请求到负载均衡服务器，在由负载均衡发给服务器 负载均衡技术： 七层：应用层：基于特定软件的负载均衡（http重定向）、反向代理服务器 ht ......