集群hdfs-ha hdfs ha
PostgreSQL集群解决方案与流复制项目实战
一、风哥PG-DBA培训15：PostgreSQL集群解决方案与流复制项目实战 课程目标： 本课程由风哥发布的基于PostgreSQL数据库的系列课程，本课程属于PostgreSQL主从复制与高可用集群阶段之PostgreSQL集群解决方案与流复制项目实战，学完本课程可以掌握PostgreSQL集群 ......
Kubeadm方式搭建K8S集群
Kubeadm方式搭建K8S集群 一、搭建k8s集群（kubeadm方式） kubeadm部署方式介绍 kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具，这个工具能通过两条指令完成一个kubernetes集群的部署： 第一，创建一个master几点 kubeadm ini ......
Docker Swarm + Harbor + Portainer 打造高可用，高伸缩，集群自动化部署，更新。
Docker Swarm是Docker官方自带的容器编排工具，Swarm，Compose，Machine合称Docker三剑客。Docker Swarm对于中小型应用来说，还是比较方便，灵活，当然K8S对于大型项目在各方面有着明显的优势。技术选型需要针对公司实际情况选择，架构往往是一步一步随着业务变 ......
Kafka详解、Kafka集群搭建与使用
Kafka详解、Kafka集群搭建与使用 原创 凉兮 凉兮的运维日记 2023-09-21 16:10 发表于北京 收录于合集 #docker6个 #消息队列1个 一、Kafka详解 1.Kafka是什么 Kafka是Apache旗下的一款分布式流媒体平台，Kafka是一种高吞吐量、持久性、分布式的 ......
每日总结(hdfs文件导入到hive表)
1 CREATE TABLE employees ( 2 id INT, 3 name STRING, 4 age INT, 5 salary FLOAT 6 ) 7 ROW FORMAT DELIMITED 8 FIELDS TERMINATED BY ',' 9 STORED AS TEXTFI ......
Windows访问Kerberos认证HDFS web
我们可以通过Window访问keberos安全认证的HDFS WebUI，如果Windows客户端没有进行kerberos主体认证会导致在HDFS WebUI中看不到HDFS目录，这时需要我们在Window客户端进行Kerberos主体认证，在Window中进行Kerberos认证时可以使用Kerb ......
k8s-集群搭建
部署目标 在所有节点上安装Docker和kubeadm，kubelet 部署容器网络插件flannel 安装基础软件 1、配置Master和work节点的域名 2、CPU设置为2核 3、下载阿里云的yum源repo文件 curl -o /etc/yum.repos.d/CentOS-Base.rep ......
ElasticSearch集群的搭建
一、集群有什么用 1.1 群集的含义与产生 群集（或称为集群）是由多台主机构成，但对外，只表现为一个整体，只提供一个访问入口（域名或IP），相当于一台大型计算机。互联网应用中，随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高，单台服务器开始无法满足负载均衡及高可用的需求，群集因此应 ......
如何查看kubeadm搭建出来的集群，admin.conf文件，使用的是哪些用户？
当使用kubeadm工具搭建一个k8s集群之后，会自动的创建一个admin.conf文件。 同时，会建议将这个文件拷贝到$HOME/.kube/config，kubectl会使用这个配置文件来访问k8s集群，也可以说是访问apiserver。 那么，在admin.conf中，到底设置的是哪个用户呢？ ......
数据库集群
一、海量数据存储问题 传统的关系型数据库，因为数据存储量越来越大，已经无法满足快速查询与插入数据的需求。NoSql的出现暂时解决了这一危机。它通过降低数据的安全性，减少对事务的支持，减少对复杂查询的支持，换取性能的提升。 有的场景要求绝对要有事务与安全指标，这时候NoSql一些折中是无法满足使用场景 ......
HDFS高可用架构
1 HDFS高可用架构原理1.1 HDFS的基本架构NameNode负责响应客户端的请求，负责管理整个文件系统的元数据HDFS 的读、写操作都必须向 NameNode 申请，元数据非常关键负责维持文件副本的数据SecondNameNode是为了帮助 NameNode 合并编辑日志，减少 NameNo ......
kubesphere快速搭建集群
1，资源准备 mkdir -p /opt/kubesphere cd /opt/kubesphere curl -sfL https://get-kk.kubesphere.io | VERSION=v3.1.0-alpha.4 sh - chmod +x kk ./kk create config ......
hdfs副本数设置
1.调整HDFS副本数 ##该命令只会设置当前已有的文件副本数，不会改默认副本数参数 hadoop fs -setrep -R -w 5 /corelogs 2.查看HDFS当前文件副本数 hadoop fs -ls /corelogs ##显示的第二个参数即为当前副本数 ......
redis cluster三主六从 redis三主三从集群搭建
转自：https://blog.51cto.com/u_16099166/6885197 一、下载安装二、本文架构（三台服务器，每台部署两个节点，主从同步，生产最好是部署六台服务器）： 三、进入redis安装目录，复制redis.conf文件，建立从节点配置文件 1 #进入redis安装目录 2 c ......
redis三主三从哨兵模式 redis三主三从集群
转自：https://blog.51cto.com/u_16213559/7033634 conf 复制/usr/local/src/redis-6.2.6文件夹下redis.conf文件到/usr/local/src/master-slave文件夹中命名为redis6381.conf 1 # 允许 ......
KingbaseES V8R6 集群运维案例 -- 集群备份到nfs共享存储初始化错误
案例说明： 在主备库建立nfs共享存储的文件系统，作为sys_rman备份的repo-path，在备库作为repo-path节点执行备份，出现数据库连接到'5432端口的错误'，数据库实际的服务端口为54321。 适用版本： KingbaseES V8R6 节点信息： [kingbase@node1 ......
KingbaseES V8R6 集群运维系列 -- trusted_server
案例说明： 在KingbaseES V8R3及V8R6早期的版本，对于读写分离的集群如果网关地址无法连通，将会导致整个集群关闭，数据库服务无法访问。在后期版本的改进中，降低了对网关的依赖性，当网关地址不通时，会影响集群的部分高可用功能比如failover切换，但集群可以正常对外提供数据库访问服务。如 ......
KingbaseES V8R6集群运维系列 -- connect_check_type参数
案例说明： 在KingbaseES V8R6C7的版本中，repmgr.conf增加了connect_check_type参数可以指定参数值，默认值是‘mix’，以前版本为隐藏参数，默认值‘ping‘。connect_check_type参数可以配置为： 监控数据库connect_check_typ ......
KingbaseES V8R3 集群运维案例 -- cluster.log无日志输出问题诊断
案例说明： KingbaseES V8R3集群正常运行期间，现场发现cluster.log日志无任何信息输出，针对这一问题做了复现及提出解决方案。后现场检查发现，cluster.log文件曾被删除： 适用版本： KingbaseES V8R3 一、查看集群的服务状态 1、集群节点状态 TEST=# ......
KingbaseES V8R6集群运维案例-- 备库数据库服务意外down分析
案例说明： KingbaseES V8R6一主二备架构的集群，两个备库节点sys_log日志分别不同时间点收到‘fast shutdown request’的日志信息，导致备库数据库服务down，需要对备库数据库服务down的原因进行分析。 集群节点信息： node12：primary node10 ......
详解Redis三大集群模式，轻松实现高可用！
转自：https://zhuanlan.zhihu.com/p/624144774 1. Redis集群简介 1.1 什么是Redis集群 Redis集群是一种通过将多个Redis节点连接在一起以实现高可用性、数据分片和负载均衡的技术。它允许Redis在不同节点上同时提供服务，提高整体性能和可靠性。 ......
在阿里云和腾讯云的轻量应用服务器上搭建Hadoop集群
引入 本文在两台2核2g的云服务器上搭建了Hadoop集群，两台云服务器分别是阿里云（hjm）和腾讯云（gyt），集群部署规划如下： hjm gyt HDFS NameNode\SecondaryNameNode\DataNode DataNode YARN ResourceManager\Node ......
K8s部署Nacos 2.0.3集群模式(外置mysql数据库)
来源：https://www.woniusnail.com/?p=1691 Nacos 具体介绍就不介绍了，详细的官方都有。 本次主要介绍在k8s集群中部署Nacos集群(3节点)，数据库使用外置的 mysql ，相比使用官方的在k8s内创建数据库的方案维护更方便，所有nacos配置 全部保存在数据 ......
KingbaseES V8R6 集群运维案例 -- 脚本部署集群后ssh无法连接
案例说明： 在kylin V10环境下，通过脚本方式部署KingbaseES V8R6集群后，发现ssh无法连接主机，通过分析发现在脚本部署过程中会对系统环境进行优化配置，在修改了/etc/ssh/sshd_config中的usePAM=yes后，导致ssh连接不上。 适用版本： KingbaseE ......
KingbaseES V8R6集群运维案例之---同一主机节点部署多个集群
案例说明： 在同一主机环境，由于生产需要，需要部署两个集群；本案例详细描述了两个集群的部署过程。 注意：同一主机部署多个集群需要先部署securecmdd服务，节点之间通过securecmdd服务通讯。多个集群共享主机的securecmdd服务在节点之间通讯。 适用版本： KingbaseES V8 ......
KingbaseES V8R6 集群中复制槽非活跃状态的可能原因
背景 此问题环境是一主五备物理集群，其中node1是主节点，node2，3是集群同步节点，node4，5是集群异地异步节点，由于异地和主节点不同网段，网速非常慢。 kdts-plus工具纯迁数据，每分钟3G数据左右，单机迁移到集群主库再同步到备库。 问题现象：node4，5的复制槽active字段非 ......
IDEA一个项目启动多个实例，以集群启动
在微服务开发场景下，服务大多是以集群方式部署的。在本地开发时 有时候会需要以集群的方式启动项目，同时启动多个实例来测试一些相关功能（例如分布式锁），此时不需要打包之后再仍到测试环境去启动多个实例，在IDE中就可以同时启动多个实例。 首先用idea打开项目，不用打开多个idea，因为你会发现同一个项目 ......
kubernates的集群安装-kubadm
kubernates的集群安装-kubadm 环境准备工作（CentOS） 准备三台或以上的虚拟机 停用防火墙 sudo systemctl stop firewalld sudo systemctl disable firewalld 修改主机名（命名规则符合 DNS 标准） cat <<EOF ......
HDFS入门
HDFS的块大小设计原则 HDFS常用shell命令 HDFS的读写流程 第一章 HDFS概述 1.1 HDFS产生背景和定义 1.1.1 产生背景 大数据时代，需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统，HDFS就是分布式文件管理系统的一种 1.1.2 HDFS定义 HDFS(H ......
记录一次k8s集群升级报错
集群升级报错 failed to upgrade cluster, err: the cluster is already in upgrading, taskID: "upgradeclusterv3-cdd88149e9bb444e38f9857bbaadaad99-1656899231-041 ......