redis集群redis-cli cli
0 爬取的数据，存到mysql中 、1 爬虫和下载中间件、 2 加代理，cookie，header，加入selenium、3 去重规则源码分析（布隆过滤器） 、4 scrapy-redis实现分布式爬虫
0 爬取的数据，存到mysql中 # 存到mysql中 class FirstscrapyMySqlPipeline: def open_spider(self, spider): print('我开了') self.conn = pymysql.connect( user='root', pass ......
Redis基本问题二
问题十一： Redis集群策略 问题十二： Redis如何设置key的过期时间 问题十三：Redis有哪些数据结构? 分别有哪些典型.. 问题十四：redis主从复制的核心原理 Redis的主从复制是提高Redis的可靠性的有效指施，主从复制的流程如下:1，集群启动时，主从库间会先建立连接，为全量量 ......
HDP集群配置phoenix
1、说明 使用ambari+HDP集群安装的hbase，已经自带了phoenix，并已经做了集成； 这里需要修改/添加几个配置即可； 2、配置 #启用用户自定义函数(UDF) <property> <name>phoenix.functions.allowUserDefinedFunctions</ ......
Redis 如何实现库存扣减操作和防止被超卖？
本文已经收录到Github仓库，该仓库包含计算机基础、Java基础、多线程、JVM、数据库、Redis、Spring、Mybatis、SpringMVC、SpringBoot、分布式、微服务、设计模式、架构、校招社招分享等核心知识点，欢迎star~ Github地址：https://github.c ......
Docker CLI docker config ls 常用命令
Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的 Linux或Windows操作系统的机器上，也可以实现虚拟化。Docker是内核虚拟化，不使用Hypervisor是不完全虚拟化，依赖内核的特性实现资源隔离。本文主要介绍Docke ......
面试官问：你们项目中用Redis来干什么？
你好，我是田哥 面试中，被问到Redis问题的概率非常高，如果问一些理论性的问题，相信你只要背背八股文就能搞定，但，如果结合项目来问就没那么好对付了。 这里给你推荐一个在线刷java面试题的神器： woaijava.cc/mianshi/index 本文，咱们就来聊聊Redis的使用场景（如果你项目 ......
redis修改密码
方法一： 进入到redis.conf文件，修改里面的requirepass配置即可，然后重启redis 方法二： 进入到redis控制台 设置密码：config set requirepass 密码 查看密码：config get requirepass 需要注意：通过命令行修改密码之后，配置文件中 ......
docker中安装redis
拉取镜像 docker pull redis:版本号 创建容器卷 启动前需要先创建Redis外部挂载的配置文件 （ /home/redis/conf/redis.conf ） 之所以要先创建 , 是因为Redis本身容器只存在 /etc/redis 目录 , 本身就不创建 redis.conf 文件 ......
虹科分享｜虹科Redis企业版数据库带你跑赢MySQL数字时代！
数字革命悄然爆发，与互联网互相成就的“人气王”MySQL开源数据库，如今也正面临突破发展瓶颈的关键时刻，作为内存中的实时数据平台，虹科提供的Redis企业版数据库能与MySQL轻松实现协同合作，带领MYSQL跑赢数字时代！ ......
大数据之—kafka集群环境
前言 参考：https://blog.csdn.net/huxili2020/article/details/120371459 一、安装 mkdir -p /opt/kafka && cd /opt/kafka tar -zxvf /opt/kafka/kafka_2.13-3.3.1.tgz m ......
大数据之—HBase集群环境搭建
前言 参考：https://blog.csdn.net/huxili2020/article/details/120459471 前置条件：Hadoop、Zookeeper 均需要正常的集群环境 官网：https://hbase.apache.org/downloads.html 软件仓库：http ......
Redis数据类型
Redis 数据类型 可以类比Java，说白了都是在C语言的基础数据类型上进行的封装，redis最核心的就是RedisObject。 数据类型核心就是组织数据的方式方法，包含数据结构和基本操作。 Redis支持五种数据类型： string（字符串） hash（哈希） list（列表） set（集合） ......
Redis命令-key
Redis 键(key) Redis 键命令用于管理 redis 的键。 语法 Redis 键命令的基本语法如下： > COMMAND KEY_NAME 实例 > set name tom OK > del name 1 在以上实例中 DEL 是一个命令， name 是一个键。 如果键被删除成功，命 ......
Redis安装
下载地址：点击前往。 图1：Redis 安装 下载完成后，打开相应的文件夹，您会看到如下图所示的文件目录： 图2：Window 安装 Redis 创建Redis临时服务1) 启动服务端程序 如上图所示，双击 Redis 服务端启动程序 redis-server.exe，您会看到以下界面： 图3：启动 ......
Redis基础学习笔记
Redis基础 Redis的下载与安装 Docker安装redis windows安装redis 使用redis redis的value数据类型 redis常用命令 在java中操作redis 在Java中操作Redis详细讲解 Redis被称为结构化NoSQL(not only SQL,泛指非关系 ......
Redis内存碎片和Pipeline管道
本文已收录至Github，推荐阅读 👉 Java随想录 微信公众号：Java随想录 内存碎片 内存碎片如何产生的？ Redis内部有自己的内存分配器，默认是jemalloc，为了提高内存使用的效率，来对内存的申请和释放进行管理。 而内存分配器按照固定大小分配内存，并不是完全按照程序申请的内存大小来 ......
Predixy 代理 Redis Cluster 集群
1、环境 服务器名称 IP地址 备注 predixy-161-130 10.32.161.130 Predixy redis-161-131 10.32.161.131 redis节点 redis-161-132 10.32.161.132 redis节点 redis-161-133 10.32.1 ......
Twemproxy（nutcracker）代理 Redis Cluster 集群
1、环境 服务名称 IP地址 备注 twemproxy-161-130 10.32.161.130 twemproxy (nutcracker) redis-161-131 10.32.161.131 redis节点 redis-161-132 10.32.161.132 redis节点 redis ......
RedisFront-GUI-redis可视化
RedisFront https://gitee.com/dromara/RedisFront ......
Zookeeper 3.8.0 集群安装及监控
Zookeeper 集群安装及监控 1. 前言 业务需要对Zookeeper集群进行监控，发现的方案有三种： JMX zookeeper exporter ZK Monitor(Since 3.6.0) 采用JMX 进行监控，可获取到的指标项不够丰富。Zookeeper Exporter监控可获得的 ......
Redis哨兵模式实施方案
部署 Redis 主从节点 在部署 Redis 主从节点时，可以选择单机部署、容器部署或者集群部署等方式。需要注意的是，主节点和从节点的配置要保持一致，并且在主节点中设置密码，以增加安全性。 单机部署可以通过下载 Redis 的二进制文件并解压来完成，具体步骤如下： （1）下载 Redis 二进制文 ......
Redis实现分布式锁
Redis实现分布式锁 前言 分布式锁的实现有三种方式 数据库乐观锁 基于Redis的分布式锁 基于Zookeeper的分布式锁 分布式锁满足的条件 为了确保分布式锁可用，我们至少要保证锁的实现同时满足以下几个条件 互斥性：在任意时刻只有一个客户端能持有锁 不会死锁：即使有一个客户端在持有锁的期间发 ......
Redis缓存穿透-布隆过滤器
Redis缓存穿透-布隆过滤器 缓存穿透 我举个蘑菇博客中的案例来说，我现在有一个博客详情页，然后博客详情页中的内容假设是存储在Redis中的，然后通过博客的Uid进行获取，正常的情况是：用户进入博客详情页，然后通过uid获取redis中缓存的文章详情，如果有内容就直接访问，如果不存在内容，那么需要 ......
Redis_IO多路复用底层原理
从底层了解IO多路复用模型 前言 当我们去面试的时候，问到了 redis，nginx，netty他们的底层模型分别是什么？ redis -> epoll nginx-> epoll netty-> epoll? 需要从操作系统的层面上来谈 BIO 当我们开机的时候，首先被加载进内存的是我们的Kern ......
使用kubeadm快速部署一个K8s集群
kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具。 这个工具能通过两条指令完成一个kubernetes集群的部署： # 创建一个 Master 节点 $ kubeadm init # 将一个 Node 节点加入到当前集群中 $ kubeadm join <Master节点 ......
使用kubeadm搭建高可用的K8s集群
kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具。 这个工具能通过两条指令完成一个kubernetes集群的部署： # 创建一个 Master 节点 $ kubeadm init # 将一个 Node 节点加入到当前集群中 $ kubeadm join <Master节点 ......
citus 11.2 更好的支持patroni 集群部署
citus 11.2 可以更好的支持基于patroni 的集群环境部署了，同时patroni 官方也提供了相关的文档专门介绍如何进行citus ha 的部署 我以前有简单说明过基于patroni+ citus 11 进行实际部署，目前官方提供了类似的能力，可以省去我们不少时间 部署一些简单说明 参考 ......
nodejs处理一段redis获取集合，数组的代码优化(其中包含:es6同步返回数据的处理,new Promise)
从异步，用延时来处理，改成同步获取数据 获取数据主要分2步: 1.从redis集合中获取数组； 2.遍历数组，抓取其中字符串，解析，拼接成需要的数据，返回给前端 原代码,用sleep方法，避免异步数据处理带来的提前返回数据的问题; (缺点:时间比较久，逻辑中是有问题的) // 获取线路上公交的位置信 ......
若依微服务连接redis 一段时间报错，后来改成连接池后也是报错 Redis command timed out; nested exception is io.lettuce.core.RedisCommandTimeoutException: Command timed out after 10 second(s)
springBoot版本是2.x 所以呢redis客户端是lettuce，而不是jedis； lettuce支持异步，而且是线程安全的。 jedis是同步的，线程不安全需要每个线程一个Jedis实例，所以一般通过连接池来使用Jedis。 我这里用的是lettuce连接池的配置还是报错了呢： spri ......