集群hdfs-ha hdfs ha
HDFS的shell命令（Hadoop fs [参数]）
hadoop fs -ls file:/// 操作linux本地文件系统 hadoop fs -ls hdfs://node1:8020/ 操作HDFS分布式文件系统 hadoop fs -ls / 直接根目录，没有指定协议 将加载读取fs.defaultFS值 标准的hadoop上传文件命令： h ......
Kafka - 线上集群部署方案怎么做？
既然是集群，那必然就要有多个 Kafka 节点机器，因为只有单台机器构成的 Kafka 伪集群只能用于日常测试之用，根本无法满足实际的线上生产需求。而真正的线上环境需要仔细地考量各种因素，结合自身的业务需求而制定。下面我就分别从操作系统、磁盘、磁盘容量和带宽等方面来讨论一下。 操作系统 -- 选择L ......
oceanbase集群版安装(离线部署)
环境:OS:Centos 7oceanbase:4.2192.168.1.105 中控机192.168.1.106192.168.1.107 1.下载离线包(中控机执行)https://www.oceanbase.com/product/opensource下载的介质为:oceanbase-all- ......
redis集群-Cluser
[toc] # 一 Redis Cluser介绍背景 https://www.cnblogs.com/liuqingzheng/articles/17324393.html ## 1.1问题 ```python # 存在问题 1 并发量：单机redis qps为10w/s,但是我们可能需要百万级别的 ......
一台服务器上部署 Redis 伪集群
哈喽大家好，我是咸鱼 今天这篇文章介绍如何在一台服务器（以 CentOS 7.9 为例）上通过 `redis-trib.rb` 工具搭建 Redis cluster （三主三从） `redis-trib.rb` 是一个基于 Ruby 编写的脚本，其功能涵盖了创建、管理以及维护 Redis 集群的各个 ......
Karmada 结合 coreDNS 插件实现跨集群统一域名访问
本文分享自华为云社区《Karmada 结合 coreDNS 插件实现跨集群统一域名访问》，作者：云容器大未来 。 在多云与混合云越来越成为企业标配的今天，服务的部署和访问往往不在一个 K8s集群中。如何做到服务访问与集群无关，成为了各个云服务提供商必须要面对的问题。本文基于Karmada v1.6. ......
浅析三维模型OBJ格式轻量化压缩集群处理方法
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，... ......
Redis缓存高可用集群(3.1)
1、Redis集群方案比较 哨兵模式 在redis3.0以前的版本要实现集群一般是借助哨兵sentinel工具来监控master节点的状态，如果master节点异常，则会做主从切换，将某一台slave作为master，哨兵的配置略微复杂，并且性能和高可用性等各方面表现一般，特别是在主从切换的瞬间存在 ......
window 搭建redis集群
参考： Windows下Redis集群搭建(超详细教程) (taodudu.cc) 按照上边流程，我碰到几个问题，及解决方案： 问题1.gem install redis 这个用于安装 ruby 的 redis插件，由于windows环境是断网状态，解决方案如下： redis | RubyGems. ......
Redis集群
Redis集群 一、Redis集群 Redis集群是一种使用分布式技术将数据分散存储在多个节点上的解决方案。它可以提供高可用性、扩展性和性能的优势。 Redis集群通过分片（Sharding）来存储数据。数据被平均分配到多个节点上，每个节点负责存储一部分数据。这样可以将负载分散到多个节点上，并提高整 ......
20.集群因子(Clustering Factor)
集群因子用于判断索引回表需要消耗的物理I/O次数。 这里在测试表test上创建一个索引： create index idx_id on test(object_id); select owner, index_name, clustering_factor from dba_indexes wher ......
nacos集群搭建
# Nacos集群搭建 # 1.集群结构图 官方给出的Nacos集群图： ![image-20210409210621117](https://img2023.cnblogs.com/blog/3014273/202308/3014273-20230827184442168-301140741.pn ......
Redis集群
## Redis主从集群 主从复制模式就是，部署多台redis节点，其中只有一台节点是主节点（master），其他的节点都是从节点（slave），也叫备份节点（replica）。只有master节点提供数据的事务性操作（增删改），slave节点只提供读操作。所有slave节点的数据都是从master ......
关于Kubernetes-v1.23.6-集群测试-创建一个nginx的deployment进行验证
关于k8s集群环境搭建完成后，我们可以通过创建一个deployment进行效果的测试 这里以nginx为例，还是在k8s-master上进行创建 kubectl create deployment nginx --image=nginx kubectl expose deployment nginx ......
kubeadm快速搭建Kubernetes1.21.14集群
1.配置要求 ###本次实验环境使用Kubernetes1.21.14版本 docker19.03.14版本 内核3.10.0-1160.90.1.el7.x86_64搭建CentOS 7.9 可以部署 Kubernetes 1.21.x 版本。在部署之前，需要检查主机是否符合 Kubernetes ......
使用DWS集群，用户被锁定如何解锁
本文分享自华为云社区《【如何保证你的DWS数据更安全】使用DWS集群，用户被锁定如何解锁？》，作者：Shirley_Dou 。 一、管理员用户被锁定，怎么破？gsql: FATAL: The account has been locked. 1、重置集群密码可自动解锁，在集群管理页面，找到对应集群重 ......
docker-compose的简单使用并搭建zookeeper集群
### 简介 Docker Compose 是一个用于定义和运行多容器 Docker 应用程序的工具。它能够简化在单个主机上使用多个容器的部署过程。使用 Docker Compose，您可以使用简单的 YAML 文件来定义应用程序的服务、网络和卷，并通过单个命令一键启动、停止和重建整个应用程序。 D ......
Docker下搭建Redis集群
一、Redis集群方案的简单介绍 Redis集群的方案一般分为三种： 哈希取余分区 一致性哈希算法分区 哈希槽分区（本文介绍的就是这种） 1、哈希取余分区： 优点： 简单粗暴，只要提前预估好数据量，然后规划好节点，例如：3台、30台、300台节点，就能保证未来一段时间内的数据支撑。 缺点： 事先规划 ......
helm 安装 redis 集群
```bash helm repo add bitnami https://charts.bitnami.com/bitnami helm repo update helm search repo redis helm pull bitnami/redis-cluster --version 8.8 ......
办公网络访问k8s集群内部ip和域名
# 本地k8s集群pod和办公网互通并实现域名解析 ## 背景 > 在微服务场景下，研发团队在进行开发联调测试过程中，需要连接到k8s集群的注册中心中等中间件并和集群内的其他业务服务pod互相通信。 ## 网络基本情况 |网络类型|ip段| |-|-| |办公网络|172.16.0.0/16| |P ......
adocker yml如何操作才能让搭建的redis集群能通过外网访问ip+端口的集群所有信息
要在Docker中操作以便通过外部网络访问Redis集群的IP和端口，您需要执行以下操作： 首先，您需要创建一个Docker Compose YAML文件（docker-compose.yml），用于定义Redis集群的配置。在此文件中，您可以指定每个Redis节点的配置和网络设置。以下是一个示例配 ......
ETCD集群安装
一、证书类型介绍 client certificate 用于通过服务器验证客户端。例如etcdctl，etcd proxy，fleetctl或docker客户端。 server certificate 由服务器使用，并由客户端验证服务器身份。例如docker服务器或kube-apiserver。 p ......
hdfs常用命令
## 显示文件目录 hadoop fs -ls -R /user/hadoop hadoop fs -lsr /user/hadoop hadoop fs -ls /user/hadoop ## 创建目录 hadoop fs -mkdir -p /user/nima/nima hadoop fs - ......
HDFS 读写
参考链接：http://www.cnblogs.com/laov/p/3434917.html ## 写流程： ``` 比如你有一个100M的文件。则写的流程大致如下。 a,Client 将File 分块，分别为block1,和block2 （64M，和36M） b,Client 向NameNode ......
HadoopYarn模式集群安装
## Hadoop集群安装步骤 ### 1. Hadoop集群安装 #### 1.1 环境说明 ``` 集群：三台Linux机器（SUSE）； JDK1.8（提前下载好对应的tar.gz） Hadoop2.7.2（提前下载好对应的tar.gz） 以下所有配置需要在每个主机上进行，但按照本文配置，可配 ......
Hadoop集群环境安装
### 1,集群环境准备 ``` 准备jdk 环境，本文用的版本是，java version "1.8.0_102" 为机器准备ssh 客户端和服务端，ubuntu 环境下默认安装了客户端，那么，请安装服务端， apt-get install openssh-server 可以的话尽量不要用root ......
K8S集群中使用JD KMS服务对敏感数据安全加密
KMS，Key Management Service，即密钥管理服务，在K8S集群中，以驱动和插件的形式启用对Secret，Configmap进行加密。以保护敏感数据 ......
hdfs和yarn访问web UI界面
# HDFS（9870或者50070） 总算是访问成功啦！  /爆哭中....../ # YARN ![](https ......