集群 水平cluster redis
MySQL AutoIncrement--PXC集群批量插入操作获取自增ID异常问题
问题描述 由于MySQL PXC集群的所有节点均可读写，因此当PXC集群中节点增加和减少时，PXC集群会自动调整集群各节点的自增ID步长，避免不同集群节点生成相同自增ID值产生冲突。 当PXC集群中读节点数量发生变化时，客户端执行BatchInsert方法可能返回错误的自增ID值。 问题原因 由于M ......
Redis事务与Lua脚本
Redis的事务没办法保证一致性，使用Lua脚本也不能保证。Lua脚本能保证一致性，而且比redis的事务实习要简洁健壮。 转载：https://maimai.cn/article/detail?fid=1538576512&efid=SQ3XsywteU9lIxil766Lxw ......
Redis未授权访问Getshell
漏洞成因 有些redis绑在0.0.0.0:6379，没有开启验证或者没有设置对未知ip来源进行限制以及默认的空密码就导致了redis默认访问 但是这个普遍的漏洞极可能造成后门植入getshell，也可能造成反弹shell权限维持，甚至会造成ssh直接免密连接服务器 开始复现 搭建环境 服务器操作系 ......
Redis 数据库的基本命令
1、帮助文档 redis 英文版命令大全：https://redis.io/commands redis 中文版命令大全：http://redisdoc.com/ 2、redis-benchmark.exe 性能测试 Redis 自带了一个 redis-benchmark 的工具，可以模拟 n 个客 ......
Windows下Redis数据库服务器的安装和启动
1、下载地址 官方下载： https://github.com/microsoftarchive/redis/releases ，可以根据需要下载不同版本。 2、Redis 服务器安装和启动 （1）将下载的 Redis 安装包解压，然后放到相应的路径下，如 d:\redis； （2）在Redis 安 ......
Redis支持的数据结构
Redis数据库提供了多种数据结构，其中最常见的数据结构有String（字符串）、List（表）、Set（集合）、Hash（散列）、Sorted Sets（有序集合）。 （1）String（字符串） String字符串是Redis中最基本也是最简单的数据结构，其值是二进制安全的，值的数据类型可以为数 ......
oracle之安装data gaurd集群
#################### 开启归档日志： shutdown immediate; startup mount; alter database archivelog; alter database open; archive log list # 更改归档目录路径log_archive ......
Redis概述
键值对存储数据库是NoSQL数据库的一种类型，也是最简单的NoSQL数据库。顾名思义，键值对存储数据库中的数据是以键值对的形 式 来 存 储 的 。 常 见 的 键 值 对 存 储 数 据 库 有 Redis 、TokyoCabinet/Tyrant、Voldemort以及Oracle BDB数据库 ......
1、Clickhouse 单节点与集群部署
一、单节点部署 1.1、修改文件描述符 vim /etc/security/limits.conf * soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard nproc 131072 vim /etc/security/li ......
Docker 部署单机 Redis + exporter
资源清单 | 主机 | IP | | | | | redis | 10.0.0.1 | | 软件 | 版本 | | | | | docker | 20.10.12 | | docker-compose | 1.23.1 | | redis | 5.0.8 | 一、Docker 安装 1. 使用国内 ......
redis cluster 集群畅谈三 之 水平扩容、slave自动化迁移【转】
上一篇 redis cluster 集群畅谈二 ， 主要讲解 实验多master写入、读写分离、实验自动故障切换（高可用性），那么本篇我们就来聊了聊redis cluster 水平扩容以及自动化 slave 迁移。 redis repliction 主从架构，一主多从更多的是为了提高 读QPS 。而 ......
redis主从复制、哨兵和集群
redis主从复制、哨兵和集群 一、redis持久化 1.1持久化的功能 Redis是内存数据库，数据都是存储在内存中，为了避免服务器断电等原因导致Redis进程异常退出后数据的永久丢失，需要定期将Redis中的数据以某种形式(数据或命令)从内存保存到硬盘; 当下次Redis重启时，利用持久化文件实 ......
Redis数据库容灾备份企业实战及故障恢复【转】
本章目录 0x00 数据持久化 1.RDB 方式 2.AOF 方式 如何抉择 RDB OR AOF? 0x01 备份容灾 一、备份 1.手动备份redis数据库 2.迁移Redis指定db-数据库 3.Redis集群数据备份与迁移 二、恢复 1.系统Redis用户被删除后配置数据恢复流程 2.Kub ......
在java中操作Redis
Redis的Java客户端有很多，官方推荐的有三种： * Jedis * Lettuce * Redisson Spring对Redis客户端进行了整合，提供了Spring Data Redis，在Spring Boot项目中还提供了对应的Starter，即spring-boot-starter-d ......
2台机器安装Redis主从
1. 配置redis.conf（主） bind 127.0.0.1 #注释掉 protected-mode no #关闭保护模式 daemonize yes #开启后台守护进程 logfile "/var/log/redis/redis.log" #日志文件路径 2.配置redis.conf（从） ......
Redis 使用Redisson+Rlock实现分布式锁
使用setnx+Lua脚本实现分布式锁会有一个问题：如果操作共享资源的时间大于过期时间，就会出现锁提前过期的问题，进而导致分布式锁直接失效。如果锁的超时时间设置过长，又会影响到性能。 如果操作共享资源的操作还未完成，锁过期时间能够自己续期就好了 对这个问题 Redisson 提供了现成的解决方案。 ......
ELK+kafka集群部署
前言 业务层可以直接写入到kafka队列中，不用担心elasticsearch的写入效率问题。 消息系统主要功能 1、解耦 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束 2、冗余 消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采 ......
A0--集群基础环境
文件下载： ansible_v2.9.9 flink-1.16.0 hadoop-3.1.3 hive-3.1.3 kafka_2.13-3.3.1 python-3.8.10 spark-3.2.1 tools.tgz zookeeper-3.6.3 一、安装并配置ansible自动化工具 1）上 ......
hdfs集群的扩容和缩容
1、背景 当我们的hadoop集群运行了一段时间之后，原有的数据节点的容量已经不能满足我们的存储了，这个时候就需要往集群中增加新的数据节点。此时我们就需要动态的对hdfs集群进行扩容操作(节点服役)。 2、集群黑白名单 在hdfs集群中是存在黑名单和白名单的。 黑名单： 该文件包含不允许连接到nam ......
.NET/C#操作Redis的简单方法
.NET/C#操作Redis的简单方法 本文属于Redis初级应用，只起初步引路作用，高手们可略过。 支持.Net Core(2.0及以上)/.Net Framework(4.5及以上)，可以部署在Docker, Windows, Linux, Mac。 Redis作为一款主流的缓存工具在业内已广受 ......
Linux安装Redis
1.下载redis http://download.redis.io/releases/ 2. 解压 cd /root/tools/redis [root@hadoop3 redis]# tar -zxvf redis-5.0.14.tar.gz 3. 切换到目录下 [root@hadoop3 re ......
windows本地部署redis
1：了解自己php扩展版本，在php文件里输入phpinfo();执行看php版本，看 php Extension Biuld的值。 2：下载redis配置文件：址：https://windows.php.net/downloads/pecl/releases/redis/ 点5.3.4版本里的根据 ......
Redis-cluster调整主从关系
一、概述 Redis集群创建后，可能会出现互为主从关系的节点从属于同一台服务器的情况。在此种情况下，若服务器故障宕机或需要停机维护，互为主从关系的节点同时停止运行，导致redis集群暂时失去一部分slot插槽。此时，redis集群为fail状态，对其进行的数据读写操作均无法正常进行。为避免此种情况的 ......
docker 部署mongoDB集群与读写分离
一.生成key文件 需要注意集群中所有机器都需要用同一个文件，否则会出现验证失败的情况 # 生成key openssl rand -base64 756 > /data/volume/mongodb/configdb/mongo.key # 设置访问权限 chmod 400 /data/volume ......
redis-Q&A-挖坑
ps: 挖坑代填 1. 如何用Redis高效实现12306的复杂售票业务 2. 新浪微博突发事件如何做好Redis缓存的高可用 3. 高并发场景缓存穿透&失效&雪崩如何解决 4. Redis高并发场景热点缓存如何重建 5. Redis集群架构如何抗住12306与双11的洪峰流量 6. Redis缓存 ......
hyperf 框架 redis 安装和使用
安装Redis 的框架扩张 composer require hyperf/redis 配置redis的参数 -> .env文件中 REDIS_HOST=127.0.0.1 REDIS_AUTH=Fl REDIS_PORT=6379 REDIS_DB=0 在模型文件中 <?php declare(s ......
决战圣地玛丽乔亚Day48----Redis常见问题处理
热点数据倾斜是什么？如何解决和处理？ 数据量倾斜和访问热点数据造成倾斜： 数据量倾斜：1.bigkey 2.hashtag不规范 3. 槽位分配不均 数据访问倾斜：1.拆key 2.扩容 3.本地缓存 如果是bigkey导致的倾斜： 在业务层生成数据时，要尽量避免把过多的数据保存在同一个键值对中。如 ......
Redis哨兵和cluster集群
1、什么是哨兵模式哨兵模式：可以自动切换解决单点故障，但是不能负载均衡，存储能力受限制。 哨兵核心功能：在主从复制的基础上，实现了主节点的自动故障转移 2、哨兵的作用监控：监控主节点和从节点是否在正常运行 故障自动转移：当主节点不能正常工作时，哨兵会开始自动故障转移操作，它会将失效主节点的其中一个从 ......
决战圣地玛丽乔亚Day47----Redis集群
4.Redis Cluster 集群模式 如果单机吞吐量过大，我们可以横向和纵向进行扩展，横向就是加节点（scale out），纵向就是加配置（scale up）。 如果加配置，治标不治本，单机局限性和持久化问题无法解决（如轮式RDB快照还是AOF指令） 横向扩展更容易扩展，可以解决很多问题，包括单 ......