分布式 黑马 实战redis
我是如何用 redis 分布式锁来解决线上历史业务问题的
近期发现，开发功能的时候发现了一个 mq 消费顺序错乱（历史遗留问题），导致业务异常的问题，看看我是如何解决的 问题抛出 首先，简单介绍一下情况： 线上 k8s 有多个 pod 会去消费 mq 中的消息，可是生产者发送的消息是期望一定要有序去消费，此时要表达的是，例如 生产者如果发送了 3 个通知消 ......
Redis 缓存击穿，缓存穿透，缓存雪崩原因+解决方案
缓存击穿，缓存穿透，缓存雪崩的原因 缓存击穿：key对应的数据存在，但在redis中过期，此时若有大量并发请求过来，这些请求发现缓存过期一般都会从后端DB加载数据并回设到缓存，这个时候大并发的请求可能会瞬间把后端DB压垮。 缓存穿透：key对应的数据在数据源并不存在，每次针对此key的请求从缓存获取 ......
Redis从入门到放弃（12）：pipeline管道技术
1、引言 在现代应用程序中，高性能和低延迟是至关重要的因素。而在处理大规模数据操作时，Redis作为一种快速、可靠的内存数据库，成为了许多开发人员的首选。 在Redis中，每个操作都需要与服务器进行往返通信，存在网络开销损耗，当有批量命令执行时，就会有较大的网络开销损耗。为了解决这个问题，Redis ......
【Python爬虫实战】爬虫封你ip就不会了？ip代理池安排上
前言 在进行网络爬取时，使用代理是经常遇到的问题。由于某些网站的限制，我们可能会被封禁或者频繁访问时会遇到访问速度变慢等问题。因此，我们需要使用代理池来避免这些问题。本文将为大家介绍如何使用IP代理池进行爬虫，并带有代码和案例。 1. 什么是IP代理池 IP代理池是一种能够动态获取大量代理IP地址的 ......
xxl-job实现java分布式定时任务
1 前言 1.1 业务场景 业务数据同步(线上数据同步到线下，新平台老平台数据的同步)，消息通知，业务数据的补偿。 1.2 什么是定时任务 定时任务是指基于给定的时间点，给定的时间间隔或者给定执行次数自动的执行程序。任务调度是系统的重要组成部分。任务调度直接影响着系统的实时性。任务调度涉及到多线程并 ......
Kubernetes----部署单节点Redis
一、创建ConfigMap （1）首先创建命名空间 kubectl create namespace ospp （2）编写redis-config.yaml文件，内容如下： apiVersion: v1 kind: ConfigMap metadata: name: redis-config nam ......
redis 事务处理，一旦异常，则回滚
事务操作： RedisTemplate支持事务操作，您可以使用multi()、exec()和discard()来开启、提交或取消事务。 于是使用 /** * redis事务测试 * @author 陈惟鲜 * @date 2023年6月10日 下午2:07:03 * @throws Exceptio ......
redis集群
Redis集群 本章是基于CentOS7下的Redis集群教程，包括： 单机安装Redis Redis主从 Redis分片集群 1.单机安装Redis 首先需要安装Redis所需要的依赖： yum install -y gcc tcl 然后将课前资料提供的Redis安装包上传到虚拟机的任意目录： 例 ......
LAXCUS分布式操作系统是什么？
今天收集了一些用户对Laxcus分布式操作系统的提问，贴出来给大家看看，也许对各位理解Laxcus分布式操作有些帮助。 1. 华为META60手机能够摆脱CIA监控，Laxcus分布式操作系统能不能做到这一点？ 答：完成没问题！Laxcus分布式操作系统是我们团队的全体系自主设计研发，全域安全模 ......
分享一个 SpringBoot + Redis 实现「查找附近的人」的小技巧
前言 SpringDataRedis提供了十分简单的地理位置定位的功能，今天我就用一小段代码告诉大家如何实现。 正文 1、引入依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-sta ......
redis-实战篇-商户查询缓存
基本思路 添加缓存的原则：动态数据不要加缓存 缓存cache：数据交换的缓冲区。一般读写性能较高。比如浏览器缓存，浏览器会将一些经常使用的数据缓存到本机，这样在多次加载时就不需要访问服务器，而浏览器未命中的缓存则会去tomcat获取。 缓存的作用：降低后端负载、提高读写效率、降低响应时间 缓存的成本 ......
redis-实战篇-短信登录
黑马点评，前后端分离的架构模式。前端分布在nginx上，后端分布在tomcat。 短信登陆 导入黑马点评项目： 打开项目，重新设置maven仓库位置。更新src/main/resources下的application.yaml中的数据库配置和redis配置。 后端部署： 点击services添加sp ......
Redis的缓存穿透、缓存雪崩、缓存击穿问题及解决方案
Redis的缓存穿透、缓存雪崩、缓存击穿问题及解决方案 缓存穿透问题及解决思路 缓存穿透 ：缓存穿透是指客户端请求的数据在缓存中和数据库中都不存在，这样缓存永远不会生效，这些请求都会打到数据库。因为我们查数据通常是现在redis缓存查数据，如果redis没有这个数据，就会去数据库查。如果张三想要搞垮 ......
Redis常用概念
Redis数据结构 Redis（Remote Dictionary Server）是一种开源的内存数据库，它支持多种数据结构。Redis的数据结构是其强大之处，它可以用于各种不同的用途，包括缓存、队列、计数器、发布/订阅系统等。以下是Redis支持的主要数据结构： 1. **字符串（String）* ......
Redis内存管理
1.Redis 给缓存数据设置过期时间有啥用？ 因为内存是有限的，如果缓存中的所有数据都是一直保存的话，分分钟直接 Out of memory。 Redis自带了给缓存数据设置过期时间的功能，比如： 127.0.0.1:6379> expire key 60 # 数据在60s后过期 (integer ......
Linux下安装Redis的详细安装步骤
一.Redis安装 1.下载linux压缩包 【redis-5.0.5.tar.gz】 2.通过FlashFXP把压缩包传送到服务器 3.解压缩 tar -zxvf redis-5.0.5.tar.gz 4.进入redis-5.0.5可以看到redis的配置文件redis.conf 5.基本的环境安 ......
python学习笔记-redis缓存数据库
一、缓存数据库介绍 NoSQL (not only sql) redis是业界主流的Key-value nosql数据库之一，和memcached类似 redis优点： 速度快，每秒可执行大约110000设置操作，81000个/每秒的读取操作 支持丰富的数据类型，列表，结合，可排序集合，哈希等 操作 ......
【分布式锁】
【引入】 【1】为什么要使用分布式锁 我们在开发应用的时候，如果需要对某一个共享变量进行多线程同步访问的时候，可以使用我们学到的锁进行处理，并且可以完美的运行，毫无Bug！ 注意这是单机应用，后来业务发展，需要做集群，一个应用需要部署到几台机器上然后做负载均衡，大致如下图： 上图可以看到 变量A存在 ......
ElasticSearch+Kibana on K8s 讲解与实战操作（版本7.17.3）
目录一、概述二、ElasticSearch 节点类型与作用三、K8s 集群部署四、ElasticSearch on K8s 开始部署1）下载安装包2）构建镜像3）修改yaml编排4）开始部署5）测试6）elasticsearch-head5）卸载五、Kibana 编排部署1）下载安装包2）构建镜像3 ......
Redis基础
1.什么是Redis Redis是一个基于C语言开发的内存数据库，读写速度非常快，广泛应用于缓存方向。并且，Redis存储的是KV键值对数据。 Redis内置了多种数据类型实现（比如 String、Hash、Sorted Set、Bitmap）。并且，Redis 还支持事务 、持久化、Lua 脚本、 ......
14、liunx环境下部署分布式压测集群
一、java环境安装与配置 官网下载jdk-15.0.1_linux-x64_bin.tar.gz，上传到liunx服务器（官网跳转） 解压文件：tar -xzf jdk-15.0.1_linux-x64_bin.tar.gz，生成文件夹jdk-15.0.1 在/usr/目录下创建java文件夹，将 ......
大规模分布式训练并行模式
大规模分布式训练并行模式 数据并行 Data Parallelism 模型在不同GPU上具有完全一致的副本，包括模型参数、模型梯度、模型优化器状态，这些都是完全相同的。唯一不同的是不同GPU上处理的数据是不同的，在每次梯度更新时，对所有数据产生梯度之和求平均，然后更新。 管道并行 Pipeline ......
redis
博客地址：https://www.cnblogs.com/zylyehuo/ 五大数据类型 参考链接：redis学习 string，字符串类型 hash，哈希类型，如同python的dict set，无序集合 zset，有序集合 list，双向队列，向左插入数据，向右插入数据，向左、右，提取数据 r ......
分布式缓存与本地缓存的优缺点
本地缓存：1.访问速度快，但是无法进行大数据存储2.集群数据更新问题3.数据随应用的重启而丢失分布式缓存：1.支持大数据量存储，不受应用进程影响2.数据集中存储，保证数据的一致性3.数据读写分离，高性能，高可用4.数据跨网络传输，性能低于本地缓存 ......