redis答卷 分布式 缓存
爬取的数据，存到mysql中、爬虫和下载中间件、加代理，cookie，header，加入selenium、去重规则源码分析（布隆过滤器）、scrapy-redis实现分布式爬虫
# 1 scrapy架构 -爬虫：写的一个个类 -引擎： -调度器：排队，去重 -下载器 -pipline -下载中间件 -爬虫中间件 # 2 命令 -scrapy startproject 项目名 -scrapy gensipder 爬虫名 网址 -scrapy crawl 爬虫名字 -run.p ......
Redis跟MySQL的双写问题
本文已收录至Github，推荐阅读 👉 Java随想录 微信公众号：Java随想录 项目中有遇到这个问题，跟MySQL中的数据不一致，研究一番发现这里面细节并不简单，特此记录一下。 写在前面 严格意义上任何非原子操作都不可能保证一致性，除非用阻塞读写实现强一致性，所以缓存架构我们追求的目标是最终一 ......
刷新桌面缓存图标
在桌面随便创建一个txt. 复制以下代码进去 @echo off taskkill /f /im explorer.exe CD /d %userprofile%\AppData\Local DEL IconCache.db /a start explorer.exe echo 3. 改为.bat后 ......
0 爬取的数据，存到mysql中 、1 爬虫和下载中间件、 2 加代理，cookie，header，加入selenium、3 去重规则源码分析（布隆过滤器） 、4 scrapy-redis实现分布式爬虫
0 爬取的数据，存到mysql中 # 存到mysql中 class FirstscrapyMySqlPipeline: def open_spider(self, spider): print('我开了') self.conn = pymysql.connect( user='root', pass ......
Redis基本问题二
问题十一： Redis集群策略 问题十二： Redis如何设置key的过期时间 问题十三：Redis有哪些数据结构? 分别有哪些典型.. 问题十四：redis主从复制的核心原理 Redis的主从复制是提高Redis的可靠性的有效指施，主从复制的流程如下:1，集群启动时，主从库间会先建立连接，为全量量 ......
Redis 如何实现库存扣减操作和防止被超卖？
本文已经收录到Github仓库，该仓库包含计算机基础、Java基础、多线程、JVM、数据库、Redis、Spring、Mybatis、SpringMVC、SpringBoot、分布式、微服务、设计模式、架构、校招社招分享等核心知识点，欢迎star~ Github地址：https://github.c ......
Solon2 接口开发: 分布式 Api Gateway 开发预览
建议使用专业的分布式网关产品，比如： nginx apisix [推荐] k8s ingress controller 等... 对 Solon 来讲，只有 Gateway：它调用本地接口时，则为本地网关；调用远程接口时，则为分布式网关。 1、一个简单的分布式接口网关效果预览 基于上一节的 ApiG ......
分布式锁的实现
多线程对同一资源的竞争，需要用到锁，例如Java自带的Synchronized、ReentrantLock。但只能用于单机系统中，如果涉及到分布式环境（多机器）的资源竞争，则需要分布式锁。分布式锁的主要作用： 保证数据的正确性： 比如：秒杀的时候防止商品超卖，表单重复提交，接口幂等性。 避免重复处理 ......
django 使用django-bootstrap4插件时，使表单呈2列或其他列分布时的写法
前言 django 使用django-bootstrap4插件时，使表单呈2列或其他列分布时的写法。 在django-bootstrap4中没有内置的方法设置表单内容成几列分布，这里采用bootstrap4的栅格布局实现效果 具体操作 forms.py class RegisterForm(User ......
面试官问：你们项目中用Redis来干什么？
你好，我是田哥 面试中，被问到Redis问题的概率非常高，如果问一些理论性的问题，相信你只要背背八股文就能搞定，但，如果结合项目来问就没那么好对付了。 这里给你推荐一个在线刷java面试题的神器： woaijava.cc/mianshi/index 本文，咱们就来聊聊Redis的使用场景（如果你项目 ......
redis修改密码
方法一： 进入到redis.conf文件，修改里面的requirepass配置即可，然后重启redis 方法二： 进入到redis控制台 设置密码：config set requirepass 密码 查看密码：config get requirepass 需要注意：通过命令行修改密码之后，配置文件中 ......
docker中安装redis
拉取镜像 docker pull redis:版本号 创建容器卷 启动前需要先创建Redis外部挂载的配置文件 （ /home/redis/conf/redis.conf ） 之所以要先创建 , 是因为Redis本身容器只存在 /etc/redis 目录 , 本身就不创建 redis.conf 文件 ......
虹科分享｜虹科Redis企业版数据库带你跑赢MySQL数字时代！
数字革命悄然爆发，与互联网互相成就的“人气王”MySQL开源数据库，如今也正面临突破发展瓶颈的关键时刻，作为内存中的实时数据平台，虹科提供的Redis企业版数据库能与MySQL轻松实现协同合作，带领MYSQL跑赢数字时代！ ......
Redis数据类型
Redis 数据类型 可以类比Java，说白了都是在C语言的基础数据类型上进行的封装，redis最核心的就是RedisObject。 数据类型核心就是组织数据的方式方法，包含数据结构和基本操作。 Redis支持五种数据类型： string（字符串） hash（哈希） list（列表） set（集合） ......
Redis命令-key
Redis 键(key) Redis 键命令用于管理 redis 的键。 语法 Redis 键命令的基本语法如下： > COMMAND KEY_NAME 实例 > set name tom OK > del name 1 在以上实例中 DEL 是一个命令， name 是一个键。 如果键被删除成功，命 ......
Redis安装
下载地址：点击前往。 图1：Redis 安装 下载完成后，打开相应的文件夹，您会看到如下图所示的文件目录： 图2：Window 安装 Redis 创建Redis临时服务1) 启动服务端程序 如上图所示，双击 Redis 服务端启动程序 redis-server.exe，您会看到以下界面： 图3：启动 ......
Redis基础学习笔记
Redis基础 Redis的下载与安装 Docker安装redis windows安装redis 使用redis redis的value数据类型 redis常用命令 在java中操作redis 在Java中操作Redis详细讲解 Redis被称为结构化NoSQL(not only SQL,泛指非关系 ......
分布式理论
一、分布式理论 1.CAP理论 CAP理论是说对于分布式数据存储，最多只能同时满足一致性（C，Consistency）、可用性（A， Availability）、分区容忍性（P，Partition Tolerance）中的两者。 1.一致性 是指对于每一次读操作，都能够读到最新写入的数据，且每个节点 ......
Redis内存碎片和Pipeline管道
本文已收录至Github，推荐阅读 👉 Java随想录 微信公众号：Java随想录 内存碎片 内存碎片如何产生的？ Redis内部有自己的内存分配器，默认是jemalloc，为了提高内存使用的效率，来对内存的申请和释放进行管理。 而内存分配器按照固定大小分配内存，并不是完全按照程序申请的内存大小来 ......
Predixy 代理 Redis Cluster 集群
1、环境 服务器名称 IP地址 备注 predixy-161-130 10.32.161.130 Predixy redis-161-131 10.32.161.131 redis节点 redis-161-132 10.32.161.132 redis节点 redis-161-133 10.32.1 ......
Twemproxy（nutcracker）代理 Redis Cluster 集群
1、环境 服务名称 IP地址 备注 twemproxy-161-130 10.32.161.130 twemproxy (nutcracker) redis-161-131 10.32.161.131 redis节点 redis-161-132 10.32.161.132 redis节点 redis ......
C++ 迪利克雷（Dirichlet）分布
遇到一个要使用 dirichlet 分布的情形，发现 C++ 标准库中没有现成的。查阅维基百科发现，虽然它挺复杂，但是它跟 Gamma 分布有如下关系： 设有 K 个相互独立且分别满足 Gamma 分布的分布： $$Y_1 \sim Gamma(\alpha_1, \theta), ..., Y_K ......
分布式协议与算法实战 - 分布式算法 gossip QuorumNWR PBFT ZAB
Gossip 二阶段提交协议和Raft需要大部分节点能够工作，在极端情况，如只有一个节点能正常运行，这些方法就不适用了。根据Base理论要实现最终一致性。 Gossip协议利用一种随机、带有传染性的方式，将信息传播到网络中，并在一定时间内使所有节点数据一致。 直接邮寄（Direct Mail）：直接 ......
RedisFront-GUI-redis可视化
RedisFront https://gitee.com/dromara/RedisFront ......
docker-selenium分布式环境搭建（基于selenium的grid分布式框架）
说明：docker-selenium分布式是基于selenium的grid分布式框架进行搭建 以下是docker-selenium分布式网络拓扑图： 从图中可以看出： 1）docker-selenium可以用作浏览器兼容性测试； 2）docker-selenium分布式，可以提高测试用例的执行效率， ......
Redis缓存穿透-布隆过滤器
Redis缓存穿透-布隆过滤器 缓存穿透 我举个蘑菇博客中的案例来说，我现在有一个博客详情页，然后博客详情页中的内容假设是存储在Redis中的，然后通过博客的Uid进行获取，正常的情况是：用户进入博客详情页，然后通过uid获取redis中缓存的文章详情，如果有内容就直接访问，如果不存在内容，那么需要 ......
Redis实现分布式锁
Redis实现分布式锁 前言 分布式锁的实现有三种方式 数据库乐观锁 基于Redis的分布式锁 基于Zookeeper的分布式锁 分布式锁满足的条件 为了确保分布式锁可用，我们至少要保证锁的实现同时满足以下几个条件 互斥性：在任意时刻只有一个客户端能持有锁 不会死锁：即使有一个客户端在持有锁的期间发 ......
Redis哨兵模式实施方案
部署 Redis 主从节点 在部署 Redis 主从节点时，可以选择单机部署、容器部署或者集群部署等方式。需要注意的是，主节点和从节点的配置要保持一致，并且在主节点中设置密码，以增加安全性。 单机部署可以通过下载 Redis 的二进制文件并解压来完成，具体步骤如下： （1）下载 Redis 二进制文 ......