分布式 集群 全局 情况

一、单节点部署 1.1、修改文件描述符 vim /etc/security/limits.conf * soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard nproc 131072 vim /etc/security/li ......

oracle 查询连接情况,oracle如何查看当前有哪些用户连接到数据库 可以执行以下语句： select username,serial#, sid from v$session; 查询用户会话 alter system kill session ‘serial#, sid ‘; 删除相关用户会 ......

上一篇 redis cluster 集群畅谈二 ， 主要讲解 实验多master写入、读写分离、实验自动故障切换（高可用性），那么本篇我们就来聊了聊redis cluster 水平扩容以及自动化 slave 迁移。 redis repliction 主从架构，一主多从更多的是为了提高 读QPS 。而 ......

redis主从复制、哨兵和集群 一、redis持久化 1.1持久化的功能 Redis是内存数据库，数据都是存储在内存中，为了避免服务器断电等原因导致Redis进程异常退出后数据的永久丢失，需要定期将Redis中的数据以某种形式(数据或命令)从内存保存到硬盘; 当下次Redis重启时，利用持久化文件实 ......

如何用指标去度量bug本身的质量情况 作为测试同学我们会经常苦恼如何使用一些指标来度量版本或产品的质量情况，近些年来比较主流的声音可能变成了如何使用指标来度量研发效率，以及如何在不影响线上质量的前提下提高研发效率，降低交付周期，不过今天我却听到了不同的声音，无意中浏览到一篇文章，讲的是如何去度量测试 ......

在线直播系统源码，Vue3中全局配置 axios 1. 简单项目的全局引用 如果只是简单几个页面的使用，无需太过复杂的配置就可以直接再 main.js 中进行挂载 import Vue from "vue"; /* 第一步下载 axios 命令：npm i axios 或者yarn add axio ......

使用setnx+Lua脚本实现分布式锁会有一个问题：如果操作共享资源的时间大于过期时间，就会出现锁提前过期的问题，进而导致分布式锁直接失效。如果锁的超时时间设置过长，又会影响到性能。 如果操作共享资源的操作还未完成，锁过期时间能够自己续期就好了 对这个问题 Redisson 提供了现成的解决方案。 ......

前言 业务层可以直接写入到kafka队列中，不用担心elasticsearch的写入效率问题。 消息系统主要功能 1、解耦 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束 2、冗余 消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采 ......

文件下载： ansible_v2.9.9 flink-1.16.0 hadoop-3.1.3 hive-3.1.3 kafka_2.13-3.3.1 python-3.8.10 spark-3.2.1 tools.tgz zookeeper-3.6.3 一、安装并配置ansible自动化工具 1）上 ......

最近在做性能测试，本来以为一台压力机就够啦，但是在压测一个查询接口的时候，当TPS达到500多的时候就开始报错，经过定位是压力机出现啦瓶颈，于是决定对压力机做一下分布式，经过调试环境部署成功，再次压测时候问题解决。下面记录一下部署分布式环境的过程。 使用的工具及版本： JDK：1.8.0_211 J ......

1、背景 当我们的hadoop集群运行了一段时间之后，原有的数据节点的容量已经不能满足我们的存储了，这个时候就需要往集群中增加新的数据节点。此时我们就需要动态的对hdfs集群进行扩容操作(节点服役)。 2、集群黑白名单 在hdfs集群中是存在黑名单和白名单的。 黑名单： 该文件包含不允许连接到nam ......

今天是入驻博客园的第一天，希望在这里记录我刷算法的学习过程，并找到一片净土在记录我今年的保研历程！ 目前我的情况如下： 本科院校 ：宁波大学 专业 ：信息管理与信息系统 绩点排名(专排)：1/49 竞赛获奖情况 ：数模一个省二一个省三，高等数学竞赛省二，电子商务三创赛省三，若干校奖 科研论文情况：一 ......

一.生成key文件 需要注意集群中所有机器都需要用同一个文件，否则会出现验证失败的情况 # 生成key openssl rand -base64 756 > /data/volume/mongodb/configdb/mongo.key # 设置访问权限 chmod 400 /data/volume ......

1、什么是哨兵模式哨兵模式：可以自动切换解决单点故障，但是不能负载均衡，存储能力受限制。 哨兵核心功能：在主从复制的基础上，实现了主节点的自动故障转移 2、哨兵的作用监控：监控主节点和从节点是否在正常运行 故障自动转移：当主节点不能正常工作时，哨兵会开始自动故障转移操作，它会将失效主节点的其中一个从 ......

分布式ID介绍 在分布式系统中，我们经常需要生成全局唯一的标识符，例如订单号，用户id，消息id等。这些标识符通常被称为分布式id。分布式id有以下几个常见的要求： 全局唯一：不同的节点或服务不能生成重复的id。 高性能：生成id的速度要快，不能成为系统的瓶颈。 低延迟：生成id的过程要尽可能简单， ......

什么是数据一致性 我们常说的数据一致性指的是在程序运行过程中本地缓存、分布式缓存、数据库三者之间的数据一致性 常见的本地缓存有 hashmap、currenthashmap、guava cache、caffeine 分布式缓存常见的有 redis、memcache 常见数据不一致常见有： 本地缓存与 ......

4.Redis Cluster　集群模式 如果单机吞吐量过大，我们可以横向和纵向进行扩展，横向就是加节点（scale out），纵向就是加配置（scale up）。 如果加配置，治标不治本，单机局限性和持久化问题无法解决（如轮式RDB快照还是AOF指令） 横向扩展更容易扩展，可以解决很多问题，包括单 ......

写在开篇 “ 上一次，我发了一篇：《理论篇：让我们一起鲁克鲁克——rook（开源存储编排）》。这次，来一篇实战，使用rook在k8s上把ceph集群搞起来。后续，还会陆续分享如何对接k8s（作为k8s的后端存储）、以及分享一些在生产上的实践经验。 ” 环境规划 | 主机名 | IP | 角色 | 数 ......

《二维随机变量》 注意 在分布函数中 P{X<=x 且 Y<=y} 而且有性质： 这个性质在求概率密度的未知数时有用 这个公式结合一下二维前缀和算法就能很好明白了 《二维离散型随机变量》 注意一下分布律的求法，其中的概率记住：X与Y是 且 《二维连续型随机变量》 具体练习看书P65 《高数知识》 到 ......

场景描述 前期写过一篇关于剔除订单极值求订单均值的案例，之前使用的是 dense_rank 函数对订单金额进行排序后，过滤掉最大值最小值后进行处理，最近工作刚好使用到分布函数percent_rank，想起来应该也可以用到这个场景； percent_rank() 简介 percent_rank() 函 ......

分布式锁的介绍 分布式锁是分布式系统中用于协调多个进程或线程之间并发访问共享资源的一种机制。在分布式系统中，由于各个节点之间的通信存在延迟、故障等问题，可能会导致数据的不一致性。为了保证数据的一致性，需要使用分布式锁来协调各个节点的并发访问。 在分布式系统中，多个节点同时访问共享资源可能会导致以下问 ......

Chubby 在谷歌“三驾马车”中3个系统都是单Master系统，这个Master是系统的单点，一旦Master故障集群就无法提供服务。使用Backup Master，通过监控机制进行切换。但是： 如何实现Backup Master和Master完全同步？ 监控程序也是单点，如何确定是Master宕 ......

alias navicat="bash /opt/navicat/navicat121_premium_cs_x64/start_navicat" ......

1.1 集群的概念 所谓的集群，就是通过添加服务器的数量，提供相同的服务，从而让服务器达到一个稳定、高效的状态。 1.1.1 使用redis集群的必要性 问题：我们已经部署好了redis，并且能启动一个redis，实现数据的读写，为什么还要学习redis集群？ 答：（1）单个redis存在不稳定性。 ......

1.不是高并发的场景 stringRedisTemplate.opsForValue.setIfAbsent("zql","人在代码在",10,TimeUnit.SECONDS);//只加过期限制 2.高并发的场景 如果加锁的过期时间小于业务执行时间，那么需要给每个线程的锁加这个线程的唯一标识，让每 ......

CEPH分布式存储搭建 本文通过参考臧 雪 园 老师的文档根据实际操作做修改，详细视频链接参考： https://edu.51cto.com/course/15982.html 集群配置信息： 安装的ceph版本： 配置所需源的地址 wget -O /etc/yum.repos.d/CentOS-B ......

前言 当多个测试用例文件，需要调用同一个fixture时候。比如登陆的fixture，连接数据库的fixture，如果在每个测试用例文件里都加上fixture，代码就会看着十分别扭，且测试用例与fixture混杂在一起，不方便维护。那么pytest也提供了conftest.py这个文件来帮助我们完成 ......

1. 概述 本文是总结给予k8s的rabbitmq3.11.11集群的mqtt搭建 rabbitmq集群搭建详见前一篇文章：kubernetes 集群部署rabbimq3.11.11 2. 自动创建mqtt账号密码 wrapper-entrypoint.sh #!/usr/bin/env bash ......

一、redis哨兵 主从切换技术的方法是：当服务器宕机后，需要手动一台从机切换为主机，这需要人工干预，不仅费时费力而且还会造成一段时间内服务不可用。为了解决主从复制的缺点，就有了哨兵机制。 哨兵的核心功能：在主从复制的基础上，哨兵引入了主节点的自动故障转移。 1、哨兵模式原理:哨兵(sentinel ......

在Redis中，使用SETEX命令（对应RedisTemplate的setIfAbsent方法）可以实现一个最简易的分布锁。SETEX命令当key不存在的话，才会设置key的值，如果可以已经存在，就不做任何操作。 为了避免锁无法被释放，就给这个key（也就是锁）设置一个过期时间。 为了保证解锁操作的 ......