集群apache doris
在Linux部署Redis Cluster集群
前言 本文讲述在 Linux 系统部署 Redis Cluster 实现数据分片的具体步骤。 请参考 Redis 单机部署 下载编译。 Redis Cluster是什么？ Redis Cluster 是官方提供的一种用数据分片来实现横向扩容的解决方案，由一个或多个 Redis 服务组成一个无主集群。 ......
在Linux部署Etcd集群
前言 目前解决分布式系统下数据强一致性的主要算法理论是Paxos和Raft，偏向CAP定理一致性（Consistency）、可用性（Availability）、分区容错性（Partition tolerance）中的CP。 Raft在容错和性能方面和Paxos相当，不同之处在于它将问题分解成相对独立 ......
Redis——(主从复制、哨兵模式、集群)的部署及搭建
重点： 主从复制：主从复制是高可用redis的基础，主从复制主要实现了数据的多机备份，以及对于读操作的负载均衡和简单的故障恢复。 哨兵和集群都是在主从复制基础上实现高可用的。 缺点：故障恢复无法自动化，写操作无法负载均衡，存储能力受到单机的限制。 哨兵：在主从复制的基础上，哨兵实现了自动化的故障恢复 ......
Docker 下 RedisCluster 分片集群搭建
1. Cluster 分片集群 1.1 Cluster 集群的结构和作用 redis 哨兵模式虽然提供了 redis⾼可⽤、高并发读的解决方案，但是在海量数据应用场景下，仍然存在海量数据存储问题和高并发写的问题。当只有⼀个 Master 对外提供服务时，如果数据量特别⼤，内存占⽤问题严重，数据的高并 ......
MySQL AutoIncrement--PXC集群批量插入操作获取自增ID异常问题
问题描述 由于MySQL PXC集群的所有节点均可读写，因此当PXC集群中节点增加和减少时，PXC集群会自动调整集群各节点的自增ID步长，避免不同集群节点生成相同自增ID值产生冲突。 当PXC集群中读节点数量发生变化时，客户端执行BatchInsert方法可能返回错误的自增ID值。 问题原因 由于M ......
Apache-commons，Spring，hutoo提供的常用工具
#1. Apache-commons 官网：https://commons.apache.org/ 在首页就能看到它提供的各种包，引入包就能使用里面的工具类 ####1.1 常用工具包简介 Commons BeanUtils：针对Bean的一个工具集。由于Bean往往是有一堆get和set组成，所以 ......
apache-DBUtils 工具类
###用于查询多行多列的数据 package com.jdbc.DBUtils; import com.JDBC_Utils.JDBCUtilsByDruid; import com.JDBC_Utils.News; import org.apache.commons.dbutils.QueryRu ......
oracle之安装data gaurd集群
#################### 开启归档日志： shutdown immediate; startup mount; alter database archivelog; alter database open; archive log list # 更改归档目录路径log_archive ......
1、Clickhouse 单节点与集群部署
一、单节点部署 1.1、修改文件描述符 vim /etc/security/limits.conf * soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard nproc 131072 vim /etc/security/li ......
doris odbc连接PostgreSQL外部表异常
环境 CPU: x86_64 操作系统: ArchLinux(单节点, 虚拟机, in vmware workstation 16 player) Kernel: Linux archlinux 6.2.9-arch1-1 doris docker版本: apache/doris 1.2.1-be- ......
redis cluster 集群畅谈三 之 水平扩容、slave自动化迁移【转】
上一篇 redis cluster 集群畅谈二 ， 主要讲解 实验多master写入、读写分离、实验自动故障切换（高可用性），那么本篇我们就来聊了聊redis cluster 水平扩容以及自动化 slave 迁移。 redis repliction 主从架构，一主多从更多的是为了提高 读QPS 。而 ......
redis主从复制、哨兵和集群
redis主从复制、哨兵和集群 一、redis持久化 1.1持久化的功能 Redis是内存数据库，数据都是存储在内存中，为了避免服务器断电等原因导致Redis进程异常退出后数据的永久丢失，需要定期将Redis中的数据以某种形式(数据或命令)从内存保存到硬盘; 当下次Redis重启时，利用持久化文件实 ......
Apache DB Utils教程_编程入门自学教程_菜鸟教程-免费教程分享
教程简介 Apache Commons DBUtils入门教程 - 从基本到高级概念的简单简单步骤熟悉Apache Commons DBUtils，其中包括概述，环境设置，第一个应用程序，基本CRUD示例，创建，读取，更新，删除查询，DBUtils对象，QueryRunner ，AsyncQuery ......
ELK+kafka集群部署
前言 业务层可以直接写入到kafka队列中，不用担心elasticsearch的写入效率问题。 消息系统主要功能 1、解耦 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束 2、冗余 消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采 ......
A0--集群基础环境
文件下载： ansible_v2.9.9 flink-1.16.0 hadoop-3.1.3 hive-3.1.3 kafka_2.13-3.3.1 python-3.8.10 spark-3.2.1 tools.tgz zookeeper-3.6.3 一、安装并配置ansible自动化工具 1）上 ......
hdfs集群的扩容和缩容
1、背景 当我们的hadoop集群运行了一段时间之后，原有的数据节点的容量已经不能满足我们的存储了，这个时候就需要往集群中增加新的数据节点。此时我们就需要动态的对hdfs集群进行扩容操作(节点服役)。 2、集群黑白名单 在hdfs集群中是存在黑名单和白名单的。 黑名单： 该文件包含不允许连接到nam ......
Apache/doris docker启动异常
环境 CPU: x86_64 操作系统: ArchLinux(单节点, 虚拟机, in vmware workstation 16 player) Kernel: Linux archlinux 6.2.9-arch1-1 doris docker版本: apache/doris 1.2.2-be- ......
docker 部署mongoDB集群与读写分离
一.生成key文件 需要注意集群中所有机器都需要用同一个文件，否则会出现验证失败的情况 # 生成key openssl rand -base64 756 > /data/volume/mongodb/configdb/mongo.key # 设置访问权限 chmod 400 /data/volume ......
Redis哨兵和cluster集群
1、什么是哨兵模式哨兵模式：可以自动切换解决单点故障，但是不能负载均衡，存储能力受限制。 哨兵核心功能：在主从复制的基础上，实现了主节点的自动故障转移 2、哨兵的作用监控：监控主节点和从节点是否在正常运行 故障自动转移：当主节点不能正常工作时，哨兵会开始自动故障转移操作，它会将失效主节点的其中一个从 ......
决战圣地玛丽乔亚Day47----Redis集群
4.Redis Cluster 集群模式 如果单机吞吐量过大，我们可以横向和纵向进行扩展，横向就是加节点（scale out），纵向就是加配置（scale up）。 如果加配置，治标不治本，单机局限性和持久化问题无法解决（如轮式RDB快照还是AOF指令） 横向扩展更容易扩展，可以解决很多问题，包括单 ......
实战篇：使用rook在k8s上搭建ceph集群
写在开篇 “ 上一次，我发了一篇：《理论篇：让我们一起鲁克鲁克——rook（开源存储编排）》。这次，来一篇实战，使用rook在k8s上把ceph集群搞起来。后续，还会陆续分享如何对接k8s（作为k8s的后端存储）、以及分享一些在生产上的实践经验。 ” 环境规划 | 主机名 | IP | 角色 | 数 ......
Tomcat 与 Nginx，Apache的区别
Apache指的应该是Apache软件基金会下的一个项目—— Apache HTTP Server Project Nginx同样也是一款开源的HTTP服务器软件(当然它也可以作为邮件代理服务器、通用的TCP代理服务器)。 Tomcat是Apache基金会下的另外一个项目，与Apache HTTP ......
redis集群简介
1.1 集群的概念 所谓的集群，就是通过添加服务器的数量，提供相同的服务，从而让服务器达到一个稳定、高效的状态。 1.1.1 使用redis集群的必要性 问题：我们已经部署好了redis，并且能启动一个redis，实现数据的读写，为什么还要学习redis集群？ 答：（1）单个redis存在不稳定性。 ......
Apache JMeter压力测试工具的安装与使用
官网下载 https://jmeter.apache.org/download_jmeter.cgi 然后解压即可 运行 双击bin/jmeter.bat 汉化 在软件里选择语言重启就会还原，所以这里直接改配置文件来永久汉化 打开bin/jmeter.properties 找到#language行， ......
myBatis报错org.apache.ibatis.ognl.NoSuchPropertyException
跑批任务时mybatis报错org.apache.ibatis.ognl.NoSuchPropertyException，重跑未出现报错，百度发现是由于mybatis依赖的Ognl版本OgnlRuntime.getMethodValue在并发情况下会存在并发问题，错误地返回null引起报错 以下是搜 ......
kubernetes rabbimq3.11.11集群之mqtt插件
1. 概述 本文是总结给予k8s的rabbitmq3.11.11集群的mqtt搭建 rabbitmq集群搭建详见前一篇文章：kubernetes 集群部署rabbimq3.11.11 2. 自动创建mqtt账号密码 wrapper-entrypoint.sh #!/usr/bin/env bash ......
redis哨兵和集群
一、redis哨兵 主从切换技术的方法是：当服务器宕机后，需要手动一台从机切换为主机，这需要人工干预，不仅费时费力而且还会造成一段时间内服务不可用。为了解决主从复制的缺点，就有了哨兵机制。 哨兵的核心功能：在主从复制的基础上，哨兵引入了主节点的自动故障转移。 1、哨兵模式原理:哨兵(sentinel ......
Redis6 集群单机安装
Redis6 集群单机安装 官网下载 https://download.redis.io/releases/redis-6.2.6.tar.gz http://download.redis.io/redis-stable.tar.gz 文档参考 https://redis.io/documentat ......
第一章 1.2节 Kubeadm安装K8S高可用集群（二）
1.1 查看Token过期时间 执行下面命令查看所有Token： kubectl get secret -n kube-system 找到之前创建的new.yaml文件，进去查看使用的Token： [root@k8s-master01 ~]# cat new.yaml apiVersion: kub ......