dolphinscheduler集群 单机apache
oraclelinux上kafka集群部署(一)----zookeeper安装
安装zookeeper需要先安装jdk，至少1.7以上版本。 下载：https://zookeeper.apache.org/releases.html#download 解压：tar -zvxf apache-zookeeper-3.8.3-bin.tar.gz 配置 进入zookeeper目录下 ......
Redis切片集群
切片集群 多个 Redis 实例组成一个集群，然后按照一定的规则，把收到的数据划分成多份，每一份用一个实例来保存。 Redis Cluster 定义 Redis官方提供的实现切片集群的方案，采用了16384个哈希槽用于处理数据和实例的映射关系。 首先根据key计算哈希槽hash_slot = CRC ......
mongodb单机做分片(使用不同的端口号)
环境:OS:Centos 7mongodb:4.4.22部署情况如下: 192.168.1.109:27001 s1分片(单节点的副本集) 192.168.1.109:28001 s2分片(单节点的副本集)192.168.1.109:29001 s3分片(单节点的副本集)192.168.1.109: ......
Linux系统redis集群管理
本章节主要由四部分构成 集群中数据访问：请求重定向(moved)、call命令、Smart客户端 集群扩容：节点配置和启动节点、加入集群、迁移槽和数据 集群缩容：迁移槽和数据、下线节点 迁移相关：平衡（rebalance）slot 集群中的数据访问-重定向(MOVED) 1、首先进入一个客户端（任何 ......
docker-compose部署rocketmq集群
参考博文：https://blog.csdn.net/bacawa/article/details/130521794 1、安装docker-compose 2、通过docker search apache/rocketmq搜索镜像，本来想看一下镜像的版本，但是没有找到对应的命令，最后用了比较粗暴的 ......
Kurator v0.5.0发布，打造统一的多集群备份与存储体验
Kurator 是由华为云推出的开源分布式云原生套件。面向分布式云原生场景，Kurator 旨在为用户提供一站式的解决方案，帮助用户快速构建自己的分布式云原生平台。 ......
linux单机部署minio
1 下载安装包 centos环境为例 wget https://dl.min.io/server/minio/release/linux-amd64/minio 2 给minio赋权 chmod +x minio 3 设置用户名、密码 /etc/profile文件中配置环境变量 export MIN ......
mac os13上安装apache\php\mysql
macos13上安装 1，下载并安装brew，brew是macos上的软件安装工具； 2，安装apache2 brew install httpd 安装成功后提示： 工程文件根目录 DocumentRoot is /usr/local/var/www 配置文件 The default ports h ......
python连接redis集群写入数据
环境; Python:3.6.5 需要安装redis-py-cluster模块 #!/usr/bin/env python #coding=utf-8 from rediscluster import RedisCluster startup_nodes = [ {"host": "192.168. ......
基于Docker Desktop搭建Kafka集群并使用Java编程开发
一、引言 前段时间因课业要求使用Docker Desktop 部署Kafka集群并编写生产者消费者程序，折磨了我好几天，在查找大量资料后终于是把整个集群搭建完成了。现在我想要分享其中搭建的历程，希望能为大家解决问题。 二、Docker集群构建 安装环境: Windows 10 2.1 启用或关闭wi ......
容器化-Docker集群
笔记 课程专题：微服务容器化 四、容器化-Docker集群 1、Docker集群理解 docker集群：多个docker实例组成的集合 1、保证docker高可用 2、解决项目高性能和高可用 docker集群搭建前提 docker集群内部概念 1、worker 工作者 运行项目 2、manager ......
1206-1303 Kubernetes集群的备份和还原 优化 Kubernetes全链路监控 12.6-13.3
一、Kubernetes集群的备份和还原 1.1 获取etcdctl二进制文件 查看etcd版本号 # kubectl -n kube-system exec -it $(kubectl get po -n kube-system |grep etcd- |head -1|awk '{print $ ......
Linux部署redis集群
环境： redis版本：6.2.1 linux服务器：centos7.6 安装 1、redis需要进行C语言编译环境，安装gcc yun install gcc 2、切换到 /usr/local目录下创建redis目录进入redis目录中进行下载redis-6.2.1.tar.gz cd usr/l ......
Apache Hudi Timeline：支持 ACID 事务的基础
Apache Hudi 维护在给定表上执行的所有操作的Timeline（时间线），以支持以符合 ACID 的方式高效检索读取查询的数据。 在写入和表服务期间也会不断查阅时间线，这是表正常运行的关键。 如果任何时间线操作出现混乱（由于多写入未配置锁提供程序等），则可能导致数据一致性问题（数据丢失或数据 ......
Hadoop-3.3.3分布式集群的文件配置，启动hadoop历史服务和启动日志聚集
一、分布式集群的文件配置 涉及$HADOOP_HOME/etc/hadoop路径下的5个文件 workers、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 首先修改workers 进入$HADOOP_HOME/etc/hadoop ......
虚拟机集群ssh配置免密登录
在dn节点机首先安装ssh，没有就执行以下代码 sudo apt-get install openssh-server 然后 cd ~/.ssh 如果没有该路径就执行一次 ssh localhost 然后执行以下代码，删除之前可能生成过的私钥，公钥 rm ./id_rsa* 执行以下代码，然后三次回 ......
haproxy+keepalived部署高可用k8s集群
四台机器 节点名称节点ip节点角色 基础配置 1、升级机器内核 2、将机器ip 名称写入到/etc/hosts中 3、基础环境准备 #关闭防火墙，selinux systemctl stop firewalld systemctl disable firewalld sed -i 's/enforc ......
记一次GFS集群节点系统重做数据恢复
背景： 比较倒霉，周日晚上服务器硬盘损坏更换后发现数据块损坏，系统无法正常使用只能重做系统，恢复了好多虚拟机，过程无比痛苦，目前只说一说恢复gfs。 思路： 登录gfs master节点查看peer状态，gluster peer status 发现另一个节点处于State: Peer Rejecte ......
Ubuntu 修改主机名和hosts文件并克隆虚拟机初步搭建集群
进入终端输入 sudo vim /etc/hosts 像红框里一样，添加自己虚拟机的主机名称映射 然后终端输入reboot 重启虚拟机 然后操作参考Ubuntu20虚拟机克隆以及克隆后静态IP和主机名的修改_ubuntu克隆后修改ip-CSDN博客 ......
分布式存储——ceph集群部署
一、部署结构 以x.x.x.150、x.x.x.151、x.x.x.152三台服务器搭建最基本的三节点ceph集群，服务器系统使用的是centos7版本，IP网段为x.x.x.0/24，三台服务器的名称分别为： ceph001: x.x.x.150，管理节点 ceph002: x.x.x.151，子 ......
nebula-br local-store 模式，快速搭建主备集群实践
单集群如何快速切换多集群模式？目前，NebulaGraph 集群复制有 3 种方式，如何在当中选中一种合适你的方式来搭建集群呢？ ......
关于pacemaker集群stonith:fence_azure_arm资源-SP-服务主机-密码过期的处理方法
在pacemaker中，一般都会创建一个stonith资源（Shoot The Other Node In The Head），笔者因为是在Azure平台、于是使用的为 stonith:fence_azure_arm 最近发现有一个与之关联的服务主体的密码过期了，导致状态异常，通过pcs statu ......
904-907 Prometheus自动发现机制 kube-state-metrics和metrics-server Prometheus监控Kubernetes集群 9.4-9.7
一、Prometheus自动发现机制 服务发现机制：为了实现自动将被监控目标添加到Permethus Prometheus数据源的配置分为静态配置和动态发现，常见为以下几类： static_configs：静态服务发现，即将配置直接写到配置文件或Configmap file_sd_config：文件 ......
Locust单机多核压测，以及主从节点的数据通信处理
一、背景 这还是2个月前做的一次接口性能测试，关于locust脚本的单机多核运行，以及主从节点之间的数据通信。 先简单交代下背景，在APP上线之前，需要对登录接口进行性能测试。经过评估，我还是优先选择了locust来进行脚本开发，本次用到了locust的单机多核运行能力，只不过这里还涉及到主从节点之 ......
Oracle集群升级迁移—Oracle数据库升级12C-19C
目录Oracle集群升级迁移—Oracle数据库升级12C-19C现有架构升级方式 Oracle集群升级迁移—Oracle数据库升级12C-19C 现有架构 现在的架构为一主一备，主备分别做了RAC ，数据库软件和grid infrastructure版本为12c 升级方式 升级方式如下图 ......
解决集群下mp的雪花id重复问题
雪花算法的核心能影响到id生成的几个因素： 服务器时间 workId（机器 ID 部分） datacenterId（数据标识 ID 部分） 根据源码 public void init(GlobalConfig globalConfig) { // 初始化 Sequence //这里需要同时设置wor ......
dolphinscheduler worker节点挂掉后连接不上
Error creating bean with name 'zookeeperRegistry': Invocation of init method failed; nested exception is org.apache.dolphinscheduler.registry.api.Regi ......
Redis集群模式incr保证原子性的原理
1.主要是redis的key会解析到固定的主机上，比如集群上有host1，host2，host3；然后key1可能会解析后发现是要发到host2上，则在host2正常的情况下（有点像kafka rebalance；consumer处理哪些分区），key1会一直在host2上进行操作； 因此在redi ......
DHorse改用fabric8的SDK与k8s集群交互
现状 在dhorse 1.4.0版本之前，一直使用k8s官方提供的sdk与k8s集群交互，官方sdk的Maven坐标如下： <dependency> <groupId>io.kubernetes</groupId> <artifactId>client-java</artifactId> <vers ......
apache.poi设置word页眉页脚
XWPFDocument docx = new XWPFDocument(); XWPFHeaderFooterPolicy headerFooterPolicy = docx.getHeaderFooterPolicy(); if (headerFooterPolicy == null) head ......