dolphinscheduler集群 单机apache
redis集群双活-数据迁移
一、redis双活 1、集群搭建 (一主两从) Redis-Sentinel是redis官方推荐的高可用性解决方案,sentinel哨兵是特殊的redis服务,不提供读写服务,主要用来监控redis实例节点,当用redis作master-slave的高可用时,如果master本身宕机,redis本身 ......
nginx搭建SRS-HLS分发集群
1、NGINX Edge Cluster NGINX边缘集群,本质上就是带有缓存的反向代理,也就是NGNIX Proxy with Cache。 只需要配置NGINX的缓存策略就可以,不需要额外插件,NGINX本身就支持: 在/etc/nginx/conf.d下新建: vi ngins-srs-ca ......
将 .NET Aspire AppHost 部署到 Kubernetes 集群
使用Aspirate可以将Aspire程序部署到Kubernetes 集群 工具安装 dotnet tool install -g aspirate --prerelease 注意:Aspirate 正在开发中,该软件包将作为预览版进行版本控制,--prelease 选项将获得最新的预览版。 容器注 ......
java.lang.ClassNotFoundException: org.apache.commons.fileupload.disk.DiskFileItemFactory
DiskFileItemFactory类是文件上传才需要用到的类,所以,我们需要添加commons-fileupload依赖 <dependency> <groupId>commons-fileupload</groupId> <artifactId>commons-fileupload</arti ......
十一、RabbitMQ集群
一、clustering 1、使用集群的原因 2、搭建步骤 2.1 搭建架构图 2.2 操作步骤 2.3 实战部分操作演示 二、镜像队列 1、使用镜像的原因 2、搭建步骤 2.1 操作步骤 2.2 实战步骤 三、Haproxy+Keepalive实现高可用负载均衡 1、整体架构图 2、Haproxy ......
gerrit 反向代理从 apache 换成 nginx 之后项目页报错“The page you requested was not found, or you do not have permission to view this page”
每次配置 gerrit 需要用反向代理来实现auth_basic_user_file,以前用apache 进行配置,但不喜欢 apache 要换成 nginx,结果换成 nginx 之后,登录后打开project页报错“The page you requested was not found, or ......
Redis集群
Redis Sentinel: 什么是 Sentinel? 有什么用? Sentinel 如何检测节点是否下线?主观下线与客观下线的区别? Sentinel 是如何实现故障转移的? 为什么建议部署多个 sentinel 节点(哨兵集群)? Sentinel 如何选择出新的 master(选举机制)? ......
vSAN集群添加宿主机报错问题处理
背景: 1、新增宿主机到vsan集群,服务器网口只有4个,所以规划vsan和管理关联到标准交换机(vsan的适配器MTU-9000、管理的适配器MTU-1500)--使用两个网口、vmotion和业务vlan关联到分布式交换机 使用两个网口;2、在往vsan集群添加宿主机的时候,新的宿主机HA状态一 ......
最新版本——Hadoop3.3.6单机版完全部署指南
大家好,我是独孤风,大数据流动的作者。 本文基于最新的 Hadoop 3.3.6 的版本编写,带大家通过单机版充分了解 Apache Hadoop 的使用。本文更强调实践,实践是大数据学习的重要环节,也能在实践中对该技术有更深的理解,所以一些理论知识建议大家多阅读相关的书籍(都在资料包中)。 本文档 ......
hive执行sql报错 FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
前言: 执行hive sql报错,sql逻辑是两个表左连接并将数据插入新的表中。 报错信息: [ERROR] 2023-12-05 15:49:49.165 +0800 - execute sql error: Error while processing statement: FAILED: Ex ......
BeeGFS部署高可用集群
BeeGFS 高可用集群搭建 参考文档:https://aws.amazon.com/cn/blogs/china/how-to-build-beegfs-on-aws-system/ 目标状态查询 元数据 targets > beegfs-ctl --listtargets --nodetype= ......
docker创建mysql集群
一、创建mysql的节点目录 # 创建第一个节点 mkdir /home/mysql-cluster/node1 cd /home/mysql-cluster/node1 mkdir conf data files log # 创建第二个节点 mkdir /home/mysql-cluster/no ......
Kafka集群调优+能力探底
一、前言 我们需要对4个规格的kafka能力进行探底,即其可以承载的最大吞吐;4个规格对应的单节点的配置如下: 标准版: 2C4G 铂金版: 4C8G 专业版: 8C16G 企业版: 16C32G 另外,一般来讲,在同配置下,kafka的读性能是要优于写性能的,写操作时,数据要从网卡拷贝至堆内存,然 ......
StackGres 数据库平台工程,使用 Citus + Patroni 创建生产级高可用分布式 PostgreSQL 分片集群
系列 StackGres, 可私有部署的云原生数据库平台工程 StackGres 数据库平台工程功能介绍与快速上手 StackGres 1.6 数据库平台工程集群配置管理(K8S Pods/PostgreSQL/PgBouncer) StackGres 1.6 数据库平台工程,集群高可用(Patro ......
4、虚拟机单机、集群的克隆、删除脚本(以初始化好的虚拟机为模板)
摘自:https://blog.51cto.com/mfc001/6408229 虚拟机克隆、删除脚本 [root@ubunt ~]# cat clone.sh #!/bin/bash # #. /etc/init.d/functions (如果是ubuntu,注释此行) Red="\e[1;31m ......
使用Slurm集群进行分布式图计算:对Github网络影响力的系统分析
本文在华为云弹性云服务器集群中部署Slurm作业调度系统,并运行针对Github协作网络影响力分析的分布式图计算应用程序。 ......
聊聊部署在不同K8S集群上的服务如何利用nginx-ingress进行灰度发布
前言 之前有篇文章聊聊如何利用springcloud gateway实现简易版灰度路由,里面的主人公又有一个需求,他们有个服务是没经过网关的,而是直接通过nginx-ingress暴露出去,现在这个服务也想做灰度,他知道在同个集群如何利用nginx-ingress进行灰度发布,但是现在这个服务是部署 ......
公网搭建Kubernetes集群
由于本次软分大作业采用一台华为云服务器和两台阿里云服务器,两者之间内网不互通,无法搭建内网k8s集群,不得已才在公网搭建。 公网搭建会出各种问题,有条件的话还是建议在内网搭建。 一个很详细的教程:https://zhuanlan.zhihu.com/p/627310856 一、服务器配置 主机名 i ......
容器与集群——通过deployment 创建pod以及Java Web应用的容器化发布
## 一、通过deployment 创建pod 1.1 编写yaml文件 1.2 安装pod 创建kubectl create -f dp-nginx.yaml 查看Deployment信息 1.3 查看相关信息 查看pod信息kubecel get pods 查看rs信息 二、Java Web应用 ......
docker compose 一键部署zookeeper集群
compose.yml 文件 services: zoo1: image: zookeeper:3.8.3 restart: always hostname: zoo1 ports: - 2181:2181 environment: ZOO_MY_ID: 1 ZOO_SERVERS: server. ......
RabbitMQ高可用集群的搭建部署(Centos7)
高可用集群架构 节点域名 操作系统 RabbitMQ版本 Erlang版本 iamdemo.tp-link.com Centos7.9 3.8.28 23.3-2 iamdemo2.tp-link.com Centos7.9 3.8.28 23.3-2 iamdemo3.tp-link.com Ce ......
redis集群
集群:支持多个master,一个master挂载多个slave cluster自带了sentinel的故障转移机制,内置了高可用的支持,无需再去使用哨兵功能 客户端不再需要连接所有节点,只需连接一个可用节点 槽位slot负责分配各个物理节点,对应的节点来维护节点,插槽,数据之间的关系 集群算法--分 ......
单机ELK接收kafka日志环境搭建
单机ELK接收kafka日志环境搭建 1、安装elk单机环境 参考以下链接: 2、搭建kafka 下载kafka:https://archive.apache.org/dist/kafka/2.6.2/ 解压: tar -zxvf kafka_2.12-2.6.2.tgz mv kafka_2.12 ......
StackGres 1.6 数据库平台工程集群配置管理(K8S Pods/PostgreSQL/PgBouncer)
Postgres 配置 PostgreSQL 的配置在 SGPostgresConfig CRD 中指定。如果在创建集群时没有指定自定义配置,StackGres 将创建一个默认配置,您可以在 这里 看到。 https://stackgres.io/doc/latest/reference/crd/s ......
apache集合工具类ListUtils
<dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-collections4</artifactId> <version>4.4</version> </dependency> 判断两集合是否相等 List<S ......
apache的序列化工具类SerializationUtils
Java中序列化是指,将Java对象转换为可存储传输的字节序列的过程。 序列化作用: 网络传输:网络可以传输字节化的java对象 数据安全:字节数据,方便在磁盘上存储 便于存储:可以将其存储在磁盘上,以供以后使用 <dependency> <groupId>org.apache.commons</g ......
使用 anasible 搭建一个多 master 多 worker 的 k8s 集群
kubernetes + istio 是目前最强大,也是最易于使用的服务网格方案。 要使用kubernetes + istio, 首先要搭建 kubernets 集群。搭建kubernetes 集群的 方式有很多,其中使用anisble自动化搭建kubernetes集群算是最具合适的方案了。 服务器 ......
Apache加密
配置TLS加密的虚拟主机(443/TLS) SSl提供了3中服务,保证数据的安全传输 认证用户和服务器,确保数据发送到正确的客户机和服务器; 加密数据以防止数据中途被窃取; 维护数据的完整性,确保数据在传输过程中不被改变 客户使用https的URL访问Web服务器,要求与Web服务器建立SSL连接。 ......
Hadoop集群部署后相关WEB界面打不开大概原因
集群部署完毕后,查看相关WEB界面,打不开的原因可能如下: 1、可以先去检查LINUX(CentOS7)机器的防火墙是否关闭,命令如下: systemctl status firewalld.service (查看防火墙状态) (如果显示为关闭状态,则进行下一步; 如果显示尚未关闭,则进行关闭并设定 ......
Redis哨兵、复制、集群的设计原理与区别
本篇主要谈Redis的高可用 谈到Redis服务器的高可用,如何保证备份的机器是原始服务器的完整备份呢? 这时候就需要哨兵和复制 1.哨兵(Sentinel): 可以管理多个Redis服务器,它提供了监控,提醒以及自动的故转移的功能 2.复制(Replication): 则是负责让一个Redis服务 ......