主从 集群redistemplate redis
Docker 部署单机 Redis + exporter
资源清单 | 主机 | IP | | | | | redis | 10.0.0.1 | | 软件 | 版本 | | | | | docker | 20.10.12 | | docker-compose | 1.23.1 | | redis | 5.0.8 | 一、Docker 安装 1. 使用国内 ......
redis cluster 集群畅谈三 之 水平扩容、slave自动化迁移【转】
上一篇 redis cluster 集群畅谈二 ， 主要讲解 实验多master写入、读写分离、实验自动故障切换（高可用性），那么本篇我们就来聊了聊redis cluster 水平扩容以及自动化 slave 迁移。 redis repliction 主从架构，一主多从更多的是为了提高 读QPS 。而 ......
redis主从复制、哨兵和集群
redis主从复制、哨兵和集群 一、redis持久化 1.1持久化的功能 Redis是内存数据库，数据都是存储在内存中，为了避免服务器断电等原因导致Redis进程异常退出后数据的永久丢失，需要定期将Redis中的数据以某种形式(数据或命令)从内存保存到硬盘; 当下次Redis重启时，利用持久化文件实 ......
Redis数据库容灾备份企业实战及故障恢复【转】
本章目录 0x00 数据持久化 1.RDB 方式 2.AOF 方式 如何抉择 RDB OR AOF? 0x01 备份容灾 一、备份 1.手动备份redis数据库 2.迁移Redis指定db-数据库 3.Redis集群数据备份与迁移 二、恢复 1.系统Redis用户被删除后配置数据恢复流程 2.Kub ......
在java中操作Redis
Redis的Java客户端有很多，官方推荐的有三种： * Jedis * Lettuce * Redisson Spring对Redis客户端进行了整合，提供了Spring Data Redis，在Spring Boot项目中还提供了对应的Starter，即spring-boot-starter-d ......
2台机器安装Redis主从
1. 配置redis.conf（主） bind 127.0.0.1 #注释掉 protected-mode no #关闭保护模式 daemonize yes #开启后台守护进程 logfile "/var/log/redis/redis.log" #日志文件路径 2.配置redis.conf（从） ......
Redis 使用Redisson+Rlock实现分布式锁
使用setnx+Lua脚本实现分布式锁会有一个问题：如果操作共享资源的时间大于过期时间，就会出现锁提前过期的问题，进而导致分布式锁直接失效。如果锁的超时时间设置过长，又会影响到性能。 如果操作共享资源的操作还未完成，锁过期时间能够自己续期就好了 对这个问题 Redisson 提供了现成的解决方案。 ......
ELK+kafka集群部署
前言 业务层可以直接写入到kafka队列中，不用担心elasticsearch的写入效率问题。 消息系统主要功能 1、解耦 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束 2、冗余 消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采 ......
A0--集群基础环境
文件下载： ansible_v2.9.9 flink-1.16.0 hadoop-3.1.3 hive-3.1.3 kafka_2.13-3.3.1 python-3.8.10 spark-3.2.1 tools.tgz zookeeper-3.6.3 一、安装并配置ansible自动化工具 1）上 ......
hdfs集群的扩容和缩容
1、背景 当我们的hadoop集群运行了一段时间之后，原有的数据节点的容量已经不能满足我们的存储了，这个时候就需要往集群中增加新的数据节点。此时我们就需要动态的对hdfs集群进行扩容操作(节点服役)。 2、集群黑白名单 在hdfs集群中是存在黑名单和白名单的。 黑名单： 该文件包含不允许连接到nam ......
.NET/C#操作Redis的简单方法
.NET/C#操作Redis的简单方法 本文属于Redis初级应用，只起初步引路作用，高手们可略过。 支持.Net Core(2.0及以上)/.Net Framework(4.5及以上)，可以部署在Docker, Windows, Linux, Mac。 Redis作为一款主流的缓存工具在业内已广受 ......
Linux安装Redis
1.下载redis http://download.redis.io/releases/ 2. 解压 cd /root/tools/redis [root@hadoop3 redis]# tar -zxvf redis-5.0.14.tar.gz 3. 切换到目录下 [root@hadoop3 re ......
windows本地部署redis
1：了解自己php扩展版本，在php文件里输入phpinfo();执行看php版本，看 php Extension Biuld的值。 2：下载redis配置文件：址：https://windows.php.net/downloads/pecl/releases/redis/ 点5.3.4版本里的根据 ......
Redis-cluster调整主从关系
一、概述 Redis集群创建后，可能会出现互为主从关系的节点从属于同一台服务器的情况。在此种情况下，若服务器故障宕机或需要停机维护，互为主从关系的节点同时停止运行，导致redis集群暂时失去一部分slot插槽。此时，redis集群为fail状态，对其进行的数据读写操作均无法正常进行。为避免此种情况的 ......
docker 部署mongoDB集群与读写分离
一.生成key文件 需要注意集群中所有机器都需要用同一个文件，否则会出现验证失败的情况 # 生成key openssl rand -base64 756 > /data/volume/mongodb/configdb/mongo.key # 设置访问权限 chmod 400 /data/volume ......
redis-Q&A-挖坑
ps: 挖坑代填 1. 如何用Redis高效实现12306的复杂售票业务 2. 新浪微博突发事件如何做好Redis缓存的高可用 3. 高并发场景缓存穿透&失效&雪崩如何解决 4. Redis高并发场景热点缓存如何重建 5. Redis集群架构如何抗住12306与双11的洪峰流量 6. Redis缓存 ......
hyperf 框架 redis 安装和使用
安装Redis 的框架扩张 composer require hyperf/redis 配置redis的参数 -> .env文件中 REDIS_HOST=127.0.0.1 REDIS_AUTH=Fl REDIS_PORT=6379 REDIS_DB=0 在模型文件中 <?php declare(s ......
Mongo主从同步原理
1. Mongo主从同步原理 Mongo主从同步原理是基于复制集（replicate set).复制集是一组mongodb实例，其中一个实例为主节点，其他实例为从节点。主节点负责所有数据写操作，并将写操作的结果复制到从节点。从节点只能读取数据，不能写入数据 在mongo中，主节点和从节点之间的数据同 ......
决战圣地玛丽乔亚Day48----Redis常见问题处理
热点数据倾斜是什么？如何解决和处理？ 数据量倾斜和访问热点数据造成倾斜： 数据量倾斜：1.bigkey 2.hashtag不规范 3. 槽位分配不均 数据访问倾斜：1.拆key 2.扩容 3.本地缓存 如果是bigkey导致的倾斜： 在业务层生成数据时，要尽量避免把过多的数据保存在同一个键值对中。如 ......
Redis哨兵和cluster集群
1、什么是哨兵模式哨兵模式：可以自动切换解决单点故障，但是不能负载均衡，存储能力受限制。 哨兵核心功能：在主从复制的基础上，实现了主节点的自动故障转移 2、哨兵的作用监控：监控主节点和从节点是否在正常运行 故障自动转移：当主节点不能正常工作时，哨兵会开始自动故障转移操作，它会将失效主节点的其中一个从 ......
决战圣地玛丽乔亚Day47----Redis集群
4.Redis Cluster 集群模式 如果单机吞吐量过大，我们可以横向和纵向进行扩展，横向就是加节点（scale out），纵向就是加配置（scale up）。 如果加配置，治标不治本，单机局限性和持久化问题无法解决（如轮式RDB快照还是AOF指令） 横向扩展更容易扩展，可以解决很多问题，包括单 ......
实战篇：使用rook在k8s上搭建ceph集群
写在开篇 “ 上一次，我发了一篇：《理论篇：让我们一起鲁克鲁克——rook（开源存储编排）》。这次，来一篇实战，使用rook在k8s上把ceph集群搞起来。后续，还会陆续分享如何对接k8s（作为k8s的后端存储）、以及分享一些在生产上的实践经验。 ” 环境规划 | 主机名 | IP | 角色 | 数 ......
Quarkus系列——集成Redis（四）
前言 reids是我们在进行后端开发的时候常用到的一个中间件，常用于实现分布式缓存，分布式锁。我们在SpringBoot中可以很方便的通过stater来集成redis。在Quarkus中官方为我们提供了redis的client虽然比起Spring用起来略显简陋但是稍微改造下也能满足我们日常需要。 准 ......
django前后端分离本地缓存，后续需要配置在redis
如何使用： from django.core.cache import cache cache.set('key', value可以是任意数据类型) cache.get('key') 应用场景： 第一次查询所有图书，通过多表联查序列化后的数据，直接缓存起来 后续，直接进入缓存查，如果有直接返回数据， ......
linux 安装redis
一、准备好 gcc 环境 yum install gcc-c++ 复制代码 出现以下日志，代表安装成功。Package gcc-c++-4.8.5-39.el7.x86_64 already installed and latest version Loaded plugins: fastestmi ......
分布式系统——基于Redis的分布式锁的实现
分布式锁的介绍 分布式锁是分布式系统中用于协调多个进程或线程之间并发访问共享资源的一种机制。在分布式系统中，由于各个节点之间的通信存在延迟、故障等问题，可能会导致数据的不一致性。为了保证数据的一致性，需要使用分布式锁来协调各个节点的并发访问。 在分布式系统中，多个节点同时访问共享资源可能会导致以下问 ......
Redis 持久化之RDB 和 AOF
Redis 有两种持久化方案，RDB （Redis DataBase）和 AOF （Append Only File）。如果你想快速了解和使用RDB和AOF，可以直接跳到文章底部看总结。本章节通过配置文件，触发快照的方式，恢复数据的操作，命令操作演示，优缺点来学习 Redis 的重点知识持久化。 R ......
安装redis
1、下载安装reids-4.0.11 1、推荐进入到linux路径/usr/local/src 2、$ wget http://download.redis.io/releases/redis-4.0.10.tar.gz3、$ tar xzf redis-4.0.10.tar.gz 4、$ cd r ......
php redis 悲观锁
悲观锁(Pessimistic Lock), 顾名思义，就是每次处理redis数据都以最悲观的场景展开，每次去拿数据的时候都认为别人会修改，所以每次在拿数据的时候都会上锁，这样别人想拿这个数据就会block直到它拿到锁。传统的关系型数据库里边就用到了很多这种锁机制，比如行锁，表锁等，读锁，写锁等，都 ......