hadoop集群
Docker 部署 redis 网络集群
Docker 部署 redis 网络集群 ## 1. 创建网卡 docker network create redis --subnet 172.38.0.0/16 # 2. 通过脚本创建六个redis配置 for port in $(seq 1 6); \ do \ mkdir -p /mydat ......
rockerMQ双主双从集群搭建
总体架构 集群工作流程 启动NameServer，NameServer起来后监听端口，等待Broker、Producer、Consumer连上来，相当于一个路由控制中心。 Broker启动，跟所有的NameServer保持长连接，定时发送心跳包。心跳包中包含当前Broker信息(IP+端口等)以及存 ......
ceph（一）基于ceph-deploy部署ceph集群
1.梳理ceph的组件关系 1.1 ceph介绍 Ceph是一个开源的分布式存储系统，同时支持对象存储、块设备、文件系统。 ceph支持EB(1EB=1,000,000,00OGB)级别的数据存储, ceph把每一个待管理的数据流(文件等数据)切分为一到多个固定大小(默认4兆)的对象数据，并以其为原 ......
PostgreSQL高可用集群项目实战之Repmgr
一、风哥PG-DBA培训18：PostgreSQL高可用集群项目实战之Repmgr 课程目标： 本课程由风哥发布的基于PostgreSQL数据库的系列课程，本课程属于PostgreSQL主从复制与高可用集群阶段之PostgreSQL高可用集群项目实战之Repmgr，学完本课程可以掌握Repmgr运行 ......
PostgreSQL高可用集群项目实战之Patroni
一、风哥PG-DBA培训19：PostgreSQL高可用集群项目实战之Patroni 课程目标： 本课程由风哥发布的基于PostgreSQL数据库的系列课程，本课程属于PostgreSQL主从复制与高可用集群阶段之PostgreSQL高可用集群项目实战之Patroni，学完本课程可以掌握Patron ......
PostgreSQL集群解决方案与流复制项目实战
一、风哥PG-DBA培训15：PostgreSQL集群解决方案与流复制项目实战 课程目标： 本课程由风哥发布的基于PostgreSQL数据库的系列课程，本课程属于PostgreSQL主从复制与高可用集群阶段之PostgreSQL集群解决方案与流复制项目实战，学完本课程可以掌握PostgreSQL集群 ......
Kubeadm方式搭建K8S集群
Kubeadm方式搭建K8S集群 一、搭建k8s集群（kubeadm方式） kubeadm部署方式介绍 kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具，这个工具能通过两条指令完成一个kubernetes集群的部署： 第一，创建一个master几点 kubeadm ini ......
Docker Swarm + Harbor + Portainer 打造高可用，高伸缩，集群自动化部署，更新。
Docker Swarm是Docker官方自带的容器编排工具，Swarm，Compose，Machine合称Docker三剑客。Docker Swarm对于中小型应用来说，还是比较方便，灵活，当然K8S对于大型项目在各方面有着明显的优势。技术选型需要针对公司实际情况选择，架构往往是一步一步随着业务变 ......
Kafka详解、Kafka集群搭建与使用
Kafka详解、Kafka集群搭建与使用 原创 凉兮 凉兮的运维日记 2023-09-21 16:10 发表于北京 收录于合集 #docker6个 #消息队列1个 一、Kafka详解 1.Kafka是什么 Kafka是Apache旗下的一款分布式流媒体平台，Kafka是一种高吞吐量、持久性、分布式的 ......
k8s-集群搭建
部署目标 在所有节点上安装Docker和kubeadm，kubelet 部署容器网络插件flannel 安装基础软件 1、配置Master和work节点的域名 2、CPU设置为2核 3、下载阿里云的yum源repo文件 curl -o /etc/yum.repos.d/CentOS-Base.rep ......
windows下安装和配置hadoop
1.安装hadoop 下载hadoop，下载地址： https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 建议不要下载最高版本，而是下载稳定版本，我下载的是3.2.3版本；将压缩包解压到安装目录，注意安装目录的路径中不要有空格； 我将h ......
ElasticSearch集群的搭建
一、集群有什么用 1.1 群集的含义与产生 群集（或称为集群）是由多台主机构成，但对外，只表现为一个整体，只提供一个访问入口（域名或IP），相当于一台大型计算机。互联网应用中，随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高，单台服务器开始无法满足负载均衡及高可用的需求，群集因此应 ......
如何查看kubeadm搭建出来的集群，admin.conf文件，使用的是哪些用户？
当使用kubeadm工具搭建一个k8s集群之后，会自动的创建一个admin.conf文件。 同时，会建议将这个文件拷贝到$HOME/.kube/config，kubectl会使用这个配置文件来访问k8s集群，也可以说是访问apiserver。 那么，在admin.conf中，到底设置的是哪个用户呢？ ......
数据库集群
一、海量数据存储问题 传统的关系型数据库，因为数据存储量越来越大，已经无法满足快速查询与插入数据的需求。NoSql的出现暂时解决了这一危机。它通过降低数据的安全性，减少对事务的支持，减少对复杂查询的支持，换取性能的提升。 有的场景要求绝对要有事务与安全指标，这时候NoSql一些折中是无法满足使用场景 ......
hadoop权威指南
Hadoop权威指南 第1部分 Hadoop基础知识 第2章 关于MapReduce MapReduce分为两个阶段，map阶段和reduce阶段。map函数是数据准备阶段，它会准备好一个键值对的数据集合，然后交由reduce函数来处理，比如进行排序、分组、聚合等操作。 MapReduce处理示例， ......
kubesphere快速搭建集群
1，资源准备 mkdir -p /opt/kubesphere cd /opt/kubesphere curl -sfL https://get-kk.kubesphere.io | VERSION=v3.1.0-alpha.4 sh - chmod +x kk ./kk create config ......
redis cluster三主六从 redis三主三从集群搭建
转自：https://blog.51cto.com/u_16099166/6885197 一、下载安装二、本文架构（三台服务器，每台部署两个节点，主从同步，生产最好是部署六台服务器）： 三、进入redis安装目录，复制redis.conf文件，建立从节点配置文件 1 #进入redis安装目录 2 c ......
redis三主三从哨兵模式 redis三主三从集群
转自：https://blog.51cto.com/u_16213559/7033634 conf 复制/usr/local/src/redis-6.2.6文件夹下redis.conf文件到/usr/local/src/master-slave文件夹中命名为redis6381.conf 1 # 允许 ......
KingbaseES V8R6 集群运维案例 -- 集群备份到nfs共享存储初始化错误
案例说明： 在主备库建立nfs共享存储的文件系统，作为sys_rman备份的repo-path，在备库作为repo-path节点执行备份，出现数据库连接到'5432端口的错误'，数据库实际的服务端口为54321。 适用版本： KingbaseES V8R6 节点信息： [kingbase@node1 ......
KingbaseES V8R6 集群运维系列 -- trusted_server
案例说明： 在KingbaseES V8R3及V8R6早期的版本，对于读写分离的集群如果网关地址无法连通，将会导致整个集群关闭，数据库服务无法访问。在后期版本的改进中，降低了对网关的依赖性，当网关地址不通时，会影响集群的部分高可用功能比如failover切换，但集群可以正常对外提供数据库访问服务。如 ......
KingbaseES V8R6集群运维系列 -- connect_check_type参数
案例说明： 在KingbaseES V8R6C7的版本中，repmgr.conf增加了connect_check_type参数可以指定参数值，默认值是‘mix’，以前版本为隐藏参数，默认值‘ping‘。connect_check_type参数可以配置为： 监控数据库connect_check_typ ......
KingbaseES V8R3 集群运维案例 -- cluster.log无日志输出问题诊断
案例说明： KingbaseES V8R3集群正常运行期间，现场发现cluster.log日志无任何信息输出，针对这一问题做了复现及提出解决方案。后现场检查发现，cluster.log文件曾被删除： 适用版本： KingbaseES V8R3 一、查看集群的服务状态 1、集群节点状态 TEST=# ......
KingbaseES V8R6集群运维案例-- 备库数据库服务意外down分析
案例说明： KingbaseES V8R6一主二备架构的集群，两个备库节点sys_log日志分别不同时间点收到‘fast shutdown request’的日志信息，导致备库数据库服务down，需要对备库数据库服务down的原因进行分析。 集群节点信息： node12：primary node10 ......
详解Redis三大集群模式，轻松实现高可用！
转自：https://zhuanlan.zhihu.com/p/624144774 1. Redis集群简介 1.1 什么是Redis集群 Redis集群是一种通过将多个Redis节点连接在一起以实现高可用性、数据分片和负载均衡的技术。它允许Redis在不同节点上同时提供服务，提高整体性能和可靠性。 ......
在阿里云和腾讯云的轻量应用服务器上搭建Hadoop集群
引入 本文在两台2核2g的云服务器上搭建了Hadoop集群，两台云服务器分别是阿里云（hjm）和腾讯云（gyt），集群部署规划如下： hjm gyt HDFS NameNode\SecondaryNameNode\DataNode DataNode YARN ResourceManager\Node ......
K8s部署Nacos 2.0.3集群模式(外置mysql数据库)
来源：https://www.woniusnail.com/?p=1691 Nacos 具体介绍就不介绍了，详细的官方都有。 本次主要介绍在k8s集群中部署Nacos集群(3节点)，数据库使用外置的 mysql ，相比使用官方的在k8s内创建数据库的方案维护更方便，所有nacos配置 全部保存在数据 ......
KingbaseES V8R6 集群运维案例 -- 脚本部署集群后ssh无法连接
案例说明： 在kylin V10环境下，通过脚本方式部署KingbaseES V8R6集群后，发现ssh无法连接主机，通过分析发现在脚本部署过程中会对系统环境进行优化配置，在修改了/etc/ssh/sshd_config中的usePAM=yes后，导致ssh连接不上。 适用版本： KingbaseE ......
KingbaseES V8R6集群运维案例之---同一主机节点部署多个集群
案例说明： 在同一主机环境，由于生产需要，需要部署两个集群；本案例详细描述了两个集群的部署过程。 注意：同一主机部署多个集群需要先部署securecmdd服务，节点之间通过securecmdd服务通讯。多个集群共享主机的securecmdd服务在节点之间通讯。 适用版本： KingbaseES V8 ......
KingbaseES V8R6 集群中复制槽非活跃状态的可能原因
背景 此问题环境是一主五备物理集群，其中node1是主节点，node2，3是集群同步节点，node4，5是集群异地异步节点，由于异地和主节点不同网段，网速非常慢。 kdts-plus工具纯迁数据，每分钟3G数据左右，单机迁移到集群主库再同步到备库。 问题现象：node4，5的复制槽active字段非 ......