集群hdfs-ha hdfs ha
Kubernetes集群通过Helm部署skywalking及测试
目录 1.前言 2.skywalking组件 3.Helm部署步骤 3.1安装包下载 3.2修改配置 3.3helm安装 3.4访问方式 4.制作skywalking-agent-sidecar镜像 5.在deployment中应用skywalking-agent 1.前言 本文主要介绍Kubern ......
【最佳实践】高可用mongodb集群(1分片+3副本):规划及部署
结合我们的生产需求，本次详细整理了最新版本 MonogoDB 7.0 集群的规划及部署过程，具有较大的参考价值，基本可照搬使用。 适应数据规模为T级的场景，由于设计了分片支撑，后续如有大数据量需求，可分片横向扩展。 ■■■ 分片集群规划 ■ Configure hostname、hosts file ......
三维模型3DTile格式轻量化压缩集群处理方法分析
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，... ......
KingbaseES V8R6集群运维案例之---查看主备流复制之间的延迟
案例说明： 在主备流复制集群运维过程中，对于同步复制节点，在读写分离环境应用需要强一致性访问时，需要监控主备之间流复制的延迟。 适用版本： KingbaseES V8R6 一、主库查询流复制延迟 1、 通过sys_stat_replication 获取sent_lsn、write_lsn、flush ......
还在为没机器练手搭集群而苦恼？快进来免费领机器了！
前几天，在我们的技术交流群里看到有小伙伴问：有没有练手搭建Redis集群的方式推荐： 这里不禁让我想到，对于各种集群和分布式基础设施的搭建，其实是每个开发者进阶时候都要经历的一个成长过程。但是，这里对于不少开发者来说，却又面临着一个现实问题：我没有足够的资源（主机或配置）去尝试和练习。 最近，DD刚 ......
MapReduce程序打包后，在hdfs使用报错，版本不一致
问题描述 Exception in thread "main" java.lang.IllegalArgumentException: Pathname from hdfs://node1:9000 is not a valid DFS filename. 应该就是JDK版本不一致的问题； 问题解决 ......
云小课｜MRS基础操作之集群健康检查
MapReduce服务为用户提供海量数据的管理及分析功能，快速从结构化和非结构化的海量数据中挖掘您所需要的价值数据。集群中的FusionInsight Manager将提供企业级的集群的统一管理平台。 ......
Kubernetes 集群 troubleshooting
Kubernetes 集群 troubleshooting – 陈少文的网站 (chenshaowen.com) 1、FailedCreatePodSandBox 错误 Error response from daemon: OCI runtime create failed: container_ ......
k8s修改集群IP--重置集群
原来IP地址192.168.10.138 k8s-master192.168.10.139 k8s-node1192.168.10.140 k8s-node2 新IP地址192.168.10.148 k8s-master192.168.10.149 k8s-node1192.168.10.150 k ......
k8s修改集群IP--不重置集群
正常在用集群想要更换ip master 节点ip192.168.10.138 改为192.168.10.148 node1节点ip192.168.10.139 改为192.168.10.149 node2节点ip192.168.10.140 改为192.168.10.150 master 节点 1) ......
使用 kubeadm 安装 k8s 集群
# 背景 之前使用过`kubespray`的 ansible playbook 安装集群，尽管此剧本是官方推荐使用的，但是它有以下缺点： * 剧本的编排太过于晦涩 * 创建集群的过程中，会产生许多必要的配置文件和依赖 存储数据库 redis版本：redis:6.2.13 作者：易墨 安装单机版 安装源：DockerHub 默认配置文件：配置文件示例 6. ......
使用nomad管理集群-2 tailscale组网
背景 上一篇文章介绍了如何单机部署nomad，这一篇介绍如何使用tailscale组成大内网，并使用nomad管理该内网集群 TAILSCALE介绍 下面是引用知乎的原话 Tailscale 是一种基于 WireGuard 的虚拟组网工具，它能帮助我们把安装了 Tailscale 服务的机器，都放到 ......
二进制部署k8s集群
1.配置主机hostname 2.配置hosts映射并拷贝至其他节点 3.配置时间同步 yum -y install chrony.x86_64 vim /etc/chrony.conf server ntp.aliyun.com iburst server ntp1.aliyun.com ibur ......
使用nomad管理集群-1 单机部署
背景 由于白嫖+购买了很多vps，管理起来有点困难，只能一个个ssh上去看，同时有的命令要反复敲好几遍，因此需要有一个集群管理的工具。 其次因为工作需要经常和k8s，docker等打交道，于是打算使用类似的工具来管理vps。 首先考虑的自然就是k8s，作为云原生的老大哥，相关的生态和文档自然是巨好， ......
hadoop集群搭建及编程实践
Hadoop集群搭建 前期准备及JDK，hadoop安装 设置主机名和添加主机映射 验证连通性 SSH无密码登录 配置集群/分布式环境 修改workers 修改文件core-site.xml 修改hdfs-site.xml 修改mapred-site.xml 修改yarn-site.xml 分发到其 ......
使用 Rancher 部署管理 K8S 集群
目录使用 Rancher 部署管理 K8S 集群主机规划部署 docker-ce（rancher）部署 rancher 使用 Rancher 部署管理 K8S 集群 主机规划 主机名称 角色 IP 地址 基础软件 rancher 管理 k8s 集群 10.0.0.203 docker-ce mast ......
实现haproxy+keepalived集群高可用集群转发
#环境：centos8 10.0.0.150 ka1 10.0.0.160 ka2 10.0.0.170 web1 10.0.0.180 web2 10.0.0.190 client ######ka1配置 #安装软件包 [root@ka1 ~]#yum install -y haproxy kee ......
Zookeeper集群部署
1.#ZooKeeper 使用场景 ZooKeeper 是一个分布式服务框架，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：命名服务、状态同步、配置中心、集群管理等。 #命名服务： 命名服务是分布式系统中比较常见的一类场景。命名服务是分布式系统最基本的公共服务之一。在分布式系统中，被命 ......
docker部署nacos集群
环境准备 系统 ip 插件 centos7 10.190.107.191 docker、nginx centos7 10.190.107.192 docker、nacos centos7 10.190.107.193 docker、nacos centos7 10.190.107.194 docke ......
【高可用】alertmanager高可用,alertmanager集群
【1】alertmanager集群高可用介绍 （1.1）基本介绍 Alertmanager成为单点 为了提升Promthues的服务可用性，通常用户会部署两个或者两个以上的Promthus Server，它们具有完全相同的配置包括Job配置，以及告警配置等。当某一个Prometheus Server ......
简述redis集群的实现原理
为了解决单机性能的瓶颈，提高Redis 性能，可以使用分布式集群的解决方案 1. 所有Redis节点使用(PING机制)互联 2. 集群中某个节点的是否失效，是由整个集群中超过半数的节点监测都失效，才能算真正的失效 3. 客户端不需要proxy即可直接连接redis，应用程序中需要配置有全部的red ......
datax同步mysql至hdfs空值问题
datax中没有提供给用户自定义null值到hdfs文件的存储格式，hdfs writer会将null值存储为空字符串('') 而hive默认存储格式为\N,后期将DataX同步的文件导入Hive表就会出现问题 解决方法： 1.修改源码（推荐）：参考http://t.csdnimg.cn/BWGRK ......
ansible-kube集群部署项目简述
ansible-kube集群部署项目简述 1.目录要求 介于证书生成文件和一些脚本使用了绝对路径；必须将ansible.tgz 包解压到 /ansible 路径下。 工作路径必须为 /ansible/Playbooks/k8s_deploy 2.目录结构以及功能概要 ├── k8s_deploy # ......
【大数据】HDFS
HDFS原理 基本介绍 1：HDFS全称:Hadoop Distributed File System 2：Hadoop三大组件（ HDFS、MapReduce、YARN）之一 3：可在多台服务器上构建集群，提供分布式数据存储能力 4：NameNode:主角色，管理HDFS集群和DataNod ......
RabbitMQ 集群搭建和仲裁队列的使用
RabbitMQ 是基于 Erlang 语言开发的，该语言天然支持集群分布式模式，因此部署 RabbitMQ 集群非常简单。 RabbitMQ 的集群部署有两种模式： 普通集群：又称为标准集群，是一种分布式集群，将队列分散到集群的各个节点，提高整个集群的并发能力。 镜像集群：在普通集群的基础上，添加 ......
k8s之集群部署（kubeadm）
[master&node] 1.修改主机名 hostnamectl set-hostname master-01 cat >> /etc/hosts << EOF 172.28.32.1 master-01 172.28.32.2 worker-01 EOF 2.配置阿里云官方源 mkdir -p ......
如何保证Redis的HA高可用
目录1.关于Redis2.Redis 的使用场景3.Redis的高可用3.1 哨兵模式（Sentinel）3.2 集群模式（Cluster）4.参考 本文主要介绍Redis如何保证高可用。 1.关于Redis Redis（Remote Dictionary Server）是一个开源的，基于内存的数据 ......