集群 水平redis 3.2
YARN集群架构
玩Hadoop的不知道YARN？这简直是天大的笑话！之前介绍Hadoop核心组件的时候（详见《Hadoop的“前世今生”》那篇博文）就曾提到过“YARN是实现了集群资源管理以及作业调度的框架”，那么本文就对YARN集群架构做进一步的介绍。 YARN集群总体上是经典的Master/Slave架构，主要 ......
Hive和Spark生产集群搭建
1.环境准备 1.1 版本选择 序号 bigdata-001 bigdata-002 bigdata-003 bigdata-004 bigdata-005 MySQL-8.0.31 mysql Datax Datax Datax Datax Datax Datax Spark-3.3.1 Spar ......
分布式缓存NewLife.Redis
NewLife.Redis 是一个Redis客户端组件，以高性能处理大数据实时计算为目标。 Redis协议基础实现位于Redis/RedisClient，FullRedis为扩展实现，主要增加列表结构、哈希结构、队列等高级功能。 源码： https://github.com/NewLifeX/New ......
Hadoop生产集群搭建
1.环境准备 1.1 集群规划 序号 bigdata-001 bigdata-002 bigdata-003 bigdata-004 bigdata-005 IP x x x x x x xxx xxx xxx 组件 hadoop1 hadoop2 hadoop3 hadoop4 hadoop5 节 ......
配置redis外网可访问,并只允许指定的ip可访问redis
开启redis 允许外网IP 访问 在 Linux 中安装了redis 服务，当在客户端通过远程连接的方式连接时，报could not connect错误。 错误的原因很简单，就是没有连接上redis服务，由于redis采用的安全策略，默认会只准许本地访问。 需要通过简单配置，完成允许外网访问。 修 ......
docker初步入门学习安装redis和mysql
docker run --name myredis -p 6379:6379 -d redis redis-server --appendonly yes docker run --name mysql -e MYSQL_ROOT_PASSWORD=123456 -d -p 3306:3306 my ......
《Java架构师的第一性原理》32分布式计算之分布式锁（Redis、Zookeeper）
1 这才是真正的分布式锁 技术领域，我觉得了解来龙去脉，了解本质原理，比用什么工具实现更重要： （1）进程多线程如何互斥？ （2）一个手机上两个APP访问一个文件如何互斥？ （3）分布式环境下多个服务访问一个资源如何互斥？ 归根结底，是利用一个互斥才能访问的公共资源来实现分布式锁，具体这个公共资源是 ......
《Java架构师的第一性原理》32分布式计算之分布式缓存第1篇如何使用Redis搭建玩家排行榜
今天我们用 Redis 搭建一个玩家的排行榜，假设一个服务器存储了 10 万名玩家的数据，我们想给这个区（这台服务器）上的玩家做个全区的排名，该如何用 Redis 实现呢？ 不妨一起来思考下面几个问题： MySQL 是如何实现玩家排行榜的？有哪些难题需要解决？ 如何用 Redis 模拟 10 万名玩 ......
linux 安装 redis
一、通用方式 要在Linux上安装Redis，可以按照以下步骤进行操作： 1. 打开终端，使用以下命令下载Redis的压缩包： wget http://download.redis.io/releases/redis-x.x.x.tar.gz 注意将 "x.x.x" 替换为你想要下载的Redis版本 ......
Spring Boot 3.2 + CRaC = 王炸！
原文：https://foojay.io/today/springboot-3-2-crac/ 前段时间发布了 Spring 6.1 和 SpringBoot 3.2，它们都完全支持 CRaC（检查点协调恢复）。 如果你想了解有关 CRaC 的更多信息，请随时阅读此处： https://docs.a ......
Linux服务器快速安装Redis-6.0
最近开始体验FastGPT开源知识库问答系统，用他们试着开发调试一些小助手。这中间需要使用到Redis，就在自己服务器上进行了安装，特此记录下。 环境说明：阿里云ECS，2核8G，X86架构，CentOS 7.9操作系统。 选择版本 1.打开Redis官网下载页面，可以选择需要的版本下载。我这里选择 ......
转 Windows下Redis安装及自启动
Redis下载 Redis 官方网站没有提供 Windows 版的安装包，可以通过 GitHub 来下载 Windows 版 Redis 安装包，下载地址：点击前往。 打开上述的下载地址链接，Redis 支持 32 位和 64 位的 Window 系统，根据个人情况自行下载，如图 1 所示： 下载完 ......
redis锁定商品解决并发售卖问题 RedisUtil工具类
redis锁定商品解决并发售卖问题 RedisUtil工具类 redis数据类型介绍： //伪代码,基本思路 //1.出redis，每次在选定商品之后，先检查redis是否已经锁定该商品，避免超卖。Set<String> cacheList = redisUtilService.getSetValu ......
redis分布锁
1.什么是redis分布式锁 Redis分布式锁是一种利用Redis实现的锁机制，用于在分布式系统中保护共享资源的访问。它利用Redis的原子性操作和过期时间设置来实现互斥访问。 在分布式环境中，多个进程或线程可能同时访问共享资源，如果没有合适的机制来保护共享资源，就会导致数据不一致或竞争条件的发生 ......
Redis缓存
Redis（Remote Dictionary Server）是一个开源的高性能键值对（key-value）存储系统，常被用作数据库、缓存和消息代理。它支持多种数据结构，如字符串、哈希表、列表、集合和有序集合。 为什么要用Redis？ 使用Redis有多个原因，包括： 高性能：Redis是基于内存存 ......
Redis异常问题分析黄金一分钟
Redis异常问题分析黄金一分钟 背景 同事发现一个环境redis比较卡顿,导致业务比较难以开展. 问题是下午出现的. 六点左右找到我这边. 想着帮忙看看, 问题其实没有定位完全, 仅是发现了一个可能的点. 所以想记录一下, 备查 步骤 登录redis进行查看 处理的过程: 1. info memo ......
MongoDB、Elasticsearch、Redis、HBase应用场景分析
1. MongoDB 一个基于分布式文件存储的数据库系统，由C++编写，旨在为Web应用提供高速、可扩展、高性能的数据存储解决方案。MongoDB采用了文档型数据库模型，即数据以文档的形式存储，而文档是由键值对组成的。MongoDB的名称来自Hadoop创始人Doug Cutting的宠物狗Mong ......
Redis全文搜索教程之创建索引并关联源数据
Redis 全文搜索是依赖于 Redis 官方提供的 RediSearch 来实现的。RediSearch 提供了一种简单快速的方法对 hash 或者 json 类型数据的任何字段建立二级索引，然后就可以对被索引的 hash 或者 json 类型数据字段进行搜索和聚合操作。 这里我们把被索引的 ha ......
【转载】Redis 6.x 学习笔记
参考 http://www.redis.cn/ https://www.runoob.com/redis/redis-data-types.html https://developer.aliyun.com/article/1095427 https://zhuanlan.zhihu.com/p/4 ......
Redis和Mysql如何保证数据一致性？
1、redis作用： 用于读数据库操作的缓存层，可以减少数据库的io，还能提升数据的io性能； 无法保证数据的acid 2、实现一致性方案： 1、先更新数据库，在更新缓存 2、先删除缓存再更新数据库 3、最终一致性方案： （1）基于roketMQ可靠通信 （2）通过canal组件采集mysql bi ......
C++聊天集群服务器解决客户端注销登录问题
客户端如何处理注销登录问题？ 问题描述: 在客户端登录后进行注销选择，然后重新登录刚才注销的账号，直接卡死。注意这是概率发生，因为是主线程和子线程抢服务器发送的信息，只有子线程抢到才会发生卡死 问题产生原因分析： 前置条件：主线程循环等待用户输入选择（第一张图是死循环，send后立马recv ......
集群模式
一、Redis Cluster 1、Redis集群方案的演变 大规模数据存储系统都会面临的一个问题就是如何横向拓展。 当你的数据集越来越大，一主多从的模式已经无法支撑这么大量的数据存储，于是你首先考虑将多个主从模式结合在一起对外提供服务，但是这里有两个问题就是如何实现数据分片的逻辑和在哪里实现这部分 ......
SpringBoot集成Redis
一、单体模式 1、引入依赖 <!-- 引入 redis 依赖 --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> </ ......
MySQL集群
一、MySQL集群方案 1、常见MySQL集群方案 1.1、Replication 特点： 速度快 弱一致性 适用于低价值数据： 日志 新闻 帖子 1.2、PXC 特点： 速度慢 强一致性 适用于高价值数据： 订单 账户 财务 1.2.1、PXC原理 全称（Percona XtraDB Cluste ......
Redis 主从集群搭建并使用 RedisTemplate 实现读写分离
单机版的 Redis 能够承载并发访问的能力有限，对于绝大多数的系统而言，都是读多写少，系统之所以宕机，一般都是因为并发读操作太高导致的宕机，因此搭建 Redis 主从集群，实现读写分离，是一种有效的提高并发访问能力的方案。 本篇博客介绍在一台虚拟机上，使用 docker-compose 模拟搭建一 ......
工具类-利用redis生成订单流水号，拿走不谢！
1 import cn.hutool.core.util.RandomUtil; 2 import cn.hutool.core.util.StrUtil; 3 import lombok.extern.slf4j.Slf4j; 4 import org.springframework.beans. ......
6.Redis，一站式高性能存储方案
1.Redis入门 Redis是一款基于键值对的NoSQL数据库，它的值支持多种数据结构： 字符串(strings)、哈希(hashes)、列表(lists)、集合(sets)、有序集合(sorted sets)等。 Redis将所有的数据都存放在内存中，所以它的读写性能十分惊人。 同时，Redis ......
prometheus监控k8s集群信息（通过kube-state-metrics）
prometheus监控k8s集群信息（通过kube-state-metrics） 因为通过k8s集群中kubelet和apiserver自带的一些接口来获取的信息太少，当然如果只需要监控POD的cpu、内存等信息，可能使用kubelet也够了，但是更多的信息还需要其他的工具，这里使用kube-st ......
Redis进阶：Lua初尝试
Lua是一门脚本语言，可以编写Lua脚本到Redis中执行 【使用Lua脚本的优点】 1.减少网络开销。Redis每条命令都需要进行网络传输，特别是命令条数很多的情况。 2.原子操作。脚本都会作为一个整体执行，中间不会有其他命令插入。 3.复用。会永远存储在Redis中 比较类似Sql里面的存储过程 ......
Kubernetes集群存储解决方案GlusterFS
1、工具简介 1.1、GlusterFS 是一个开源的分布式文件系统 具有强大的横向扩展能力 通过扩展能够支持数PB存储容量和处理数千客户端 将物理分布的存储资源聚集在一起，使用单一全局命名空间来管理数据 1.2、Heketi 是一个基于RESTful API的GlusterFS卷管理框架 可以方便 ......