reactor还是redis epoll
爬虫：爬到的数据存到mysql中、爬虫和下载中间件、加代理，cookie、header、加入selenium、集成selenium、==去重规则源码分析(布隆过滤器)、布隆过滤器、scrapy-redis实现分布式爬虫
[toc] ### 爬到的数据存到mysql中 ```python class FirstscrapyMySqlPipeline: def open_spider(self, spider): print('我开了') self.conn = pymysql.connect( user='root' ......
Redis的内存优化与性能调优：如何优化Redis的内存和性能？
[toc] Redis的内存优化与性能调优：如何优化Redis的内存和性能？ 引言 Redis作为一款高性能的内存数据库，以其灵活性和可扩展性受到了广泛的应用场景。然而，Redis在内存管理和性能调优方面仍然存在许多挑战。本文旨在介绍Redis内存优化和性能调优的实践经验，帮助读者更好地优化Redi ......
Redis实战(黑马点评--短信登录)
系统介绍 短信登录 这部分会使用Redis共享session来实现 用Redis替换session来存储邮箱验证码 商户查询缓存 这部分要理解缓存击穿，缓存穿透，缓存雪崩等问题，对于这些概念的理解不仅仅是停留在概念上，更是能在代码中看到对应的内容 优惠券秒杀 这部分可以学会Redis的计数器功能，结 ......
redis分布式锁实现
```java @Autowired private RedisTemplate redisTemplate; //有死锁问题，设置锁的过期时间防止死锁 public void incr() { Boolean lock = redisTemplate.opsForValue().setIfAbse ......
redis初见
# redis介绍 redis下载： ```python 1、官网：https://redis.io/ - 目前最稳定：6.x版本 - 最新版本：7.x 2、中文网：http://redis.cn/download.html - 上面最新只到5.x版本 3、windows版本下载地址 - redis ......
转载： redis中的bigkey问题
reference: https://www.modb.pro/db/459810 什么是bigkey bigkey就是redis key/value体系中的大value问题。我们知道redis的底层数据存储结构中，有多种数据结构的实现。 String: 简单动态字符串 List: 双向链表、压缩列 ......
项目集成redis实战
项目集成redis实战 1.进入到项目的tomcat配置文件中，修改redis服务器和密码 cd /usr/src/tomcat-pinter/webapps/WEB-INF/classes/ vi application.properties. 2.杀死tomcat进程，重启服务 3.重启服务 c ......
基于docker部署redis
Docker中部署redis一、在docker中拉去redis镜像docker pull redis二、在本机给redis创建配置文件1.mkdir –p /root/docker/redis/conf2.上传redis自带的redis.conf到改目录下。注意：有可能xftp无法链接，可以先传到其 ......
linux下redis安装与使用
linux下redis安装与使用一、redis安装1.上传reids压缩包到任意目录，一般与mysql数据库放一起。/usr/src2.redis压缩包解压tar xvf redis-7.0.4.tar.gz3.用gcc编译C语言，先安装gccyum install –y gcc4.进入到解压后的r ......
redis常用命令
Redis常用命令一．redis特点：1.支持数据的持久化，可以将内存的数据保存在磁盘中，重启时再次加载2.存储的数据多样化，支持：string、list、hash、set、zset数据结构的存储3.支持master-slave模式的数据备份二．redis优势:性能高，读的速度为11万次/s，写的速 ......
redis配置和使用方法
Redis配置和使用方法一、下载和环境配置1.下载Redis官网：https://github.com/tporadowski/redis/releases，根据本地电脑下载适配的压缩包。2.环境配置下载到本地后，解压到任意目录。进入文件内，复制地址添加到本地电脑的系统环境变量Path路径。二、Re ......
redis学习十四：redis持久化之RDB
持久化技术：把内存中数据最终写入磁盘，RDB和AOF 为什么需要：防止服务器宕机缓存数据都没有了 RDB：RDB持久性以指定的时间间隔执行数据集的时间点快照（实现类似照片记录效果的方式，就是把某一时刻的数据和状态以文件形式写到磁盘上，也就是快照。这样一来即使故障宕机，快照文件也不会丢失，数据的可靠性 ......
Redis分片集群-故障转移
为了演示故障转移，我们可以先通过watch命令查看某台节点信息监控整个集群状态： watch redis-cli -p 9001 cluster nodes 接着我们让某台节点宕机，执行命令：redis-cli -p 9002 shutdown，回车。 可以发现控制台监控到9002已失去连接。等待一 ......
redis学习十三：数据类型命令及落地运用 （bitfield）
redis位域bitfield：将redis字符串看成一个由二进制组成的数组，并且对这个数组中任意偏移进行访问 1.获取hello的ascall码值图中分别对应h,e,l i有符合，u没符号 更改对应的值 2.什么都不说情况下是循环溢出：wrap使用回绕方法处理有符号整数和无符号整数的溢出情况 sa ......
pmm版本1监控redis
环境: OS:Centos 7 PMM:版本1 注意:如下方法只适用于pmm版本1,pmm2好像不支持. 1.下载redis_exporterwget https://github.com/oliver006/redis_exporter/releases/download/v1.3.5/redis ......
Redis分片集群-集群伸缩
redis-cli --cluster提供了很多操作集群的命令，可以通过下面方式查看： redis-cli --cluster help执行如下： 比如，添加节点的命令： new_host代表需要添加的节点ip， exitsting_host代表已经存在的主机IP，也即集群中已经有的，为什么需要知道 ......
人生还是选择重要
昨晚上被一门跨专业选修折磨了 叫做机器学习,是信息学院的必修,期末是考试,加上没怎么学懂 很焦虑啊 但是我另一个跨专业选修--摄影课程,就很简单,期末提交一组照片就可以了,完全没有焦虑 我对机器学习的付出时间远大于摄影课程,结果机器学习还可能挂了 所以啊,人生其实选择是大于努力的!!! ......
解决redis从服务器未配置主服务器密码导致数据未同步&磁盘饱满问题
## 问题前置场景 本人前几天买了一台2核4G+40G磁盘空间的云服务器用来学习使用，在服务器上安装了docker。为了学习redis主从架构，使用docker-compose部署了一主二从三台redis服务，部署完成之后测试发现从服务器并没有同步主服务器的数据，查看配置文件没有看出来什么问题，进入 ......
java实际开发中接口文档是自己写还是架构师写？
软件工程的两种方法下，由后端决定接口都是不对的。 第一种软件工程的方法：瀑布模型，自顶而下，逐步细化。 接口会变，但是接口要提前设计。接口不是后端开发完成之后才“自然”产生的，那不是自然，而是无序。 **前后端分离的开发，应该是面向“API”的开发。API的设计并不能由前端或后端一方决定或主导，而是 ......
程序员还是需要有点英语水平...
今天在代码走查时，注意到下面代码中的这个常量：MINDESTBETRAG，看注释它表示的是单笔资金交易的最小限制金额。而MINDESTBETRAG都是哪些单词的组合呢？令人费解！前三个字母组成MIN，那么后面的DESTBETRAG呢？转换成小写destbetrag，具备一些英语底子的我，表示依然不认 ......
SQL优化改写案例15（最近PG9优化SQL集合，不写过程了只记录案例，PG优化器问题还是不少）
案例1： -- 原SQL + 执行计划： explain analyze SELECT G.PID, G.FLOW_ID, G.STATUS, G.ID, G_UFILES.INFO_ID, G.CREATE_UNAME, G_UFILES.FLOW_TIME, G.CREATE_DEPTNAME, ......
2023-06-25：redis中什么是缓存穿透？该如何解决？
2023-06-25：redis中什么是缓存穿透？该如何解决？ 答案2023-06-25： **缓存穿透** 缓存穿透指的是查询一个根本不存在的数据，在这种情况下，无论是缓存层还是存储层都无法命中。因此，每次请求都需要访问数据库，这将导致不存在的数据每次都需要查询存储层，这样缓存就失去了保护后端存储 ......
利用chatgpt解决单主机多实例模式Redis主从配置的报错问题：Error condition on socket for SYNC: Connection refused
今天在配置redis主从配置时，从实例报错：Error condition on socket for SYNC: Connection refused 我是在单体机上配置三个实例，实现redis的一主二从。 1.首先，创建三个文件夹，名字分别叫7001、7002、7003（我喜欢将应用安装在tmp ......
redis,mongo,mysql,es区别
Redis、MongoDB、MySQL和Elasticsearch（ES）都是常用的数据库系统，各有不同的特点和适用场景，具体区别如下： Redis：Redis是一种高性能键值存储数据库，基于内存操作，支持数据持久化，支持数据类型丰富灵活，如字符串、哈希、列表、集合、有序集合等。Redis还提供了订 ......
.Net全网最简Redis操作
支持.Net/.Net Core/.Net Framework，可以部署在Docker, Windows, Linux, Mac。 Redis作为一款主流的缓存工具在业内已广受欢迎。本文将会介绍操作Redis的一种最简单的方法。 本文假定你身边已有安装好的Redis应用，该应用的网络地址为（ip+p ......
redis原理
Redis（Remote Dictionary Server）是一种基于键值对的内存数据库，其底层原理主要包括以下几个方面： 存储结构： 字符串：Redis中最基本的数据结构是字符串。字符串类型的值可以是普通的文本数据，也可以是二进制数据。 哈希表（Hash）：哈希表用于存储具有键值对的数据。在Re ......
Redis缓存使用技巧和设计方案?薪火数据知识库
Redis是一种开源的内存数据库，被广泛应用于缓存系统设计和实现中。它提供了高性能、低延迟的数据访问，并支持多种数据结构和丰富的功能。下面将详细介绍Redis缓存的使用技巧和设计方案。 一、Redis缓存基本原理： 数据存储结构： Redis支持多种数据结构，如字符串（String）、哈希（Hash ......
前后端分离，前端和后端是并行开发吗？还是前端先开发?后端在开发时能不能先看到项目前端的页面？
前后端分离并不只是开发模式，而是web应用的一种架构模式。 在开发阶段，前后端工程师约定好数据交互接口，实现并行开发和测试； 在运行阶段前后端分离模式需要对web应用进行分离部署，前后端之前使用HTTP或者其他协议进行交互请求。 并行开发： 1. 开发前，前后端定义接口规范 2. 定义好接口后，后端 ......
k8s 启动redis
1、在kubenetes集群中创建一个pod 创建redis，拉取镜像 kubectl create deployment redis --image=redis 2、查看镜像是否下载成功 kubectl get pod status为running 表示拉取完成 3、暴露redis端口 kubec ......
Redis-list类型常用命令
Redis-list常用命令 lpush 从左侧添加 127.0.0.1:6379> lpush k1 1 2 3 4 5 5 127.0.0.1:6379> lrange k1 0 -1 5 4 3 2 1 rpush 从右侧添加 127.0.0.1:6379> rpush k1 0 -1 7 1 ......