dolphinscheduler集群 单机apache
TDSQL集群扩容DB节点
具体步骤见百度云盘:https://pan.baidu.com/s/1zMrjhckI2I4O1G1RzC09uQ 提取码:h5mm。本文档适用于TDSQL(MYSQL版)和TDSQL(PG版)。内容如下: 一、以下步骤在新增机器上面执行:1、检查audit服务(Mysql版本特有):systemc ......
短视频app开发,集群容错策略的代码分析
短视频app开发,集群容错策略的代码分析 1 Failover Failover故障转移策略作为默认策略,当短视频app开发中的消费发生异常时通过负载均衡策略再选择一个生产者节点进行调用,直到达到重试次数。即使业务代码没有显示重试,也有可能多次执行消费逻辑从而造成重复数据: public class ......
Apache 介绍
Apache基金会 Apache 软件基金会(Apache Software Foundation),简写为ASF。是一个负责管理 Apache 项目的开源基金会。 例如:Apache HTTP Server、Apache HTTP Server、Apache HTTP Server、Apache ......
YARN集群中应用程序的执行流程
Hello,各位“极客”好,上一篇文章中介绍了YARN集群架构的基本内容,那么,在YARN集群中应用程序的执行流程是怎样的呢?这个问题很重要,就要好好说道说道了...... 客户端提交应用程序(可以是MapReduce程序、Spark程序等)到ResourceManager。 ResourceMan ......
k8s集群搭建-2
一、前面做过k8s的集群搭建主要是1.24版本一下的,1.24版本后"弃用docker"改用CRI了。所以这里就之前的集群安装做一下补充。 老版集群地址:https://www.cnblogs.com/ll409546297/p/16718681.html 二、k8s版本选择:docker-ce:2 ......
SAP-DB-服务器组-003-pacemaker集群-在AWS平台里-创建及配置-SAPHanaTopology资源及SAPHana及VIP
关于基础环境的安装,还是可以参考笔者另一篇文章,APP的部分 《SAP-APP-服务器组-001-pacemaker集群的基础环境的安装部署》 https://www.cnblogs.com/5201351/p/17899446.html 1、DB需要多安装 resource-agents-sap- ......
Zookeeper-快速入门、服务搭建、集群搭建教程
官网:https://zookeeper.apache.org/ zookeeper常用用途: 集群管理,zookeeper作为注册中心,管理服务提供方的ip地址端口号url信息,并在服务消费方请求需要时发送给服务消费方。 配置中心(不过一般用阿波罗apollo或者阿里的Nacos来做) 多个app ......
ceph集群搭建详细教程(ceph-deploy)
ceph-deploy比较适合生产环境,不是用cephadm搭建。相对麻烦一些,但是并不难,细节把握好就行,只是命令多一些而已。 实验环境 服务器主机 public网段IP(对外服务) cluster网段IP(集群通信) 角色 deploy 192.168.2.120 用于部署集群、管理集群 cep ......
搭建ceph集群
本文完全拷贝出处:https://www.cnblogs.com/qiuhom-1874/ 前文我们了解了Ceph的基础架构和相关组件的介绍,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16720234.html;今天我们来部署一个ceph集群; 部署工具介 ......
YARN集群架构
玩Hadoop的不知道YARN?这简直是天大的笑话!之前介绍Hadoop核心组件的时候(详见《Hadoop的“前世今生”》那篇博文)就曾提到过“YARN是实现了集群资源管理以及作业调度的框架”,那么本文就对YARN集群架构做进一步的介绍。 YARN集群总体上是经典的Master/Slave架构,主要 ......
Hive和Spark生产集群搭建
1.环境准备 1.1 版本选择 序号 bigdata-001 bigdata-002 bigdata-003 bigdata-004 bigdata-005 MySQL-8.0.31 mysql Datax Datax Datax Datax Datax Datax Spark-3.3.1 Spar ......
Hadoop生产集群搭建
1.环境准备 1.1 集群规划 序号 bigdata-001 bigdata-002 bigdata-003 bigdata-004 bigdata-005 IP x x x x x x xxx xxx xxx 组件 hadoop1 hadoop2 hadoop3 hadoop4 hadoop5 节 ......
为你的 Apache2 服务器上添加用户认证
背景 在一些情况下,当我们使用web服务器作为下载服务器,默认情况下文件都会存放在/var/www目录下,如果是公网那将涉及到一定的安全性。在apache中,添加用户认证(User Authentication)是 Apache HTTP 服务器中一种常见的安全措施,用于限制对某些资源的访问。指定允 ......
Apache Kyuubi 讲解与实战操作
目录一、概述二、Spark Kyuubi 架构三、Hadoop 基础环境安装1)hadoop 下载部署包2)创建网络3)部署MySQL4)部署 Hadoop Hive四、Spark Kyuubi 安装1)下载 Kyuubi2)下载 Spark32)配置 Kyuubi (Spark3)3)启动 Kyu ......
docker容器单机编排
随着网站架构的升级,容器也使用的越发频繁,应用服务和容器间的关系也越发复杂。 这就要求研发人员能够更好的方法去管理数量较多的容器服务,而不能手动的去挨个管理。 例如一个LNMP的架构,就得部署web服务器,后台程序,数据库,负载均衡等等都需要统一部署在容器里,那么这时候就需要使用统一的容器编排服务d ......
FastDFS 单机版linux部署笔记
参考文章:https://blog.csdn.net/qq_20409407/article/details/134201386 备忘: fastdfs三部分路径为 : /home/fastdfs/tracker /home/fastdfs/storage /home/fastdfs/client ......
Java学习之apache poi操作Excel文件
创建Java项目,然后加入Maven依赖如下: 读取指定的Excel文件 写入既存的Excel文件 创建新的Excel,添加文件内容 ......
C++聊天集群服务器解决客户端注销登录问题
客户端如何处理注销登录问题? 问题描述: 在客户端登录后进行注销选择,然后重新登录刚才注销的账号,直接卡死。注意这是概率发生,因为是主线程和子线程抢服务器发送的信息,只有子线程抢到才会发生卡死 问题产生原因分析: 前置条件:主线程循环等待用户输入选择(第一张图是死循环,send后立马recv ......
集群模式
一、Redis Cluster 1、Redis集群方案的演变 大规模数据存储系统都会面临的一个问题就是如何横向拓展。 当你的数据集越来越大,一主多从的模式已经无法支撑这么大量的数据存储,于是你首先考虑将多个主从模式结合在一起对外提供服务,但是这里有两个问题就是如何实现数据分片的逻辑和在哪里实现这部分 ......
MySQL集群
一、MySQL集群方案 1、常见MySQL集群方案 1.1、Replication 特点: 速度快 弱一致性 适用于低价值数据: 日志 新闻 帖子 1.2、PXC 特点: 速度慢 强一致性 适用于高价值数据: 订单 账户 财务 1.2.1、PXC原理 全称(Percona XtraDB Cluste ......
Redis 主从集群搭建并使用 RedisTemplate 实现读写分离
单机版的 Redis 能够承载并发访问的能力有限,对于绝大多数的系统而言,都是读多写少,系统之所以宕机,一般都是因为并发读操作太高导致的宕机,因此搭建 Redis 主从集群,实现读写分离,是一种有效的提高并发访问能力的方案。 本篇博客介绍在一台虚拟机上,使用 docker-compose 模拟搭建一 ......
apache HttpClient异常-ProtocolException: Target host is not specified
昨夜,甘肃临夏州积石山县发生6.2级地震,影响到甘肃、青海地区。截至目前,已有100多人遇难。百度了一下当地天气,还挺冷,夜间温度低到-15℃。祈祷难民早日得到救援吧。 分享今天解决的一个生产问题告警。 如下HTTP工具类中的httpClientPost方法使用apache(maven坐标:org. ......
Apache-httpd最新版本升级教程,解决漏洞(CVE-2017-9788、CVE-2017-9798、CVE-2016-2161等)
参考文档: https://blog.csdn.net/weixin_47444415/article/details/133682253 根据官网提供最新的版本号,下载最新版本即可; 这个教程试验过了,可以用; 注: 一.错误 报错:configure: error: You need a C++ ......
prometheus监控k8s集群信息(通过kube-state-metrics)
prometheus监控k8s集群信息(通过kube-state-metrics) 因为通过k8s集群中kubelet和apiserver自带的一些接口来获取的信息太少,当然如果只需要监控POD的cpu、内存等信息,可能使用kubelet也够了,但是更多的信息还需要其他的工具,这里使用kube-st ......
Kubernetes集群存储解决方案GlusterFS
1、工具简介 1.1、GlusterFS 是一个开源的分布式文件系统 具有强大的横向扩展能力 通过扩展能够支持数PB存储容量和处理数千客户端 将物理分布的存储资源聚集在一起,使用单一全局命名空间来管理数据 1.2、Heketi 是一个基于RESTful API的GlusterFS卷管理框架 可以方便 ......
Linux系统下kafka集群安装部署
Linux系统下kafka集群安装部署 Linux系统下kafka集群安装部署 | 系统运维 (osyunwei.com) 2023年05月01日 ⁄ kafka ⁄ 暂无评论 ⁄ 被围观 1,254次+ Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。 操 ......
报错:org.apache.hadoop.hbase.util.GetJavaProperty
hbase和flume查看版本时显示如下 [root@slave1 flume-1.9.0]# hbase version 错误: 找不到或无法加载主类 org.apache.hadoop.hbase.util.GetJavaProperty SLF4J: Class path contains m ......
ES集群架构
一、集群节点 一个ES集群可以有多个节点构成 一个节点就是一个ES服务实例,通过配置集群名称cluster.name加入集群 那么节点是如何通过配置相同的集群名称加入集群的呢?要搞明白这个问题,我们必须先搞清楚ES集群中节点的角色。 ES中节点有角色的区分的,通过配置文件conf/elasticse ......
集群模式
一、Redis Cluster 1、Redis集群方案的演变 大规模数据存储系统都会面临的一个问题就是如何横向拓展。 当你的数据集越来越大,一主多从的模式已经无法支撑这么大量的数据存储,于是你首先考虑将多个主从模式结合在一起对外提供服务,但是这里有两个问题就是如何实现数据分片的逻辑和在哪里实现这部分 ......