集群 水平cluster redis
docker安装kafka集群
# docker 安装kafka集群 ## 搭建docker基本环境 搭建docker环境非本处详细讲解, 了解或查阅资料即可 ## 拉取镜像(zookeeper以及kafka的) ```bash docker pull wurstmeister/zookeeper docker pull wurs ......
大数据集群启动，关闭命令
# 集群开启，关闭命令 ## hadoop： **开启：dfs：start-dfs.sh；yarn：start-yarn.sh** **关闭：dfs：stop-dfs.sh；yarn：stop-dfs.sh** ## spark: **开启：sbin/start-all.sh** **关闭：sbin ......
【Redis】redis集群的 MASTER 与 SLAVE
这个问题，从一个坑说起： 部署了一个新环境，但发现服务一直在报错： ``` 2023-07-05 20:42:54.186 ERROR [ scheduling-1] o.s.s.s.TaskUtils$LoggingErrorHandler : Unexpected error occurred ......
Redis 高可用 —— 哨兵
参考 码哥字节：https://xie.infoq.cn/article/1c714709d00b2b55e8416fb99 小林coding: https://xiaolincoding.com/redis/cluster/sentinel.html 锦鱼不忘旧时晨：https://blog.cs ......
linux LVS负载均衡集群
摘要：高并发时需要高性能的服务器，集群可以很好的增加服务器的性能，完成高并发的处理。 目录 一、集群概念 二、集群应用场景 三、集群分类 四、负载均衡集群架构 五、集群工作模式 六、LVS虚拟服务器 七、LVS负载调度算法 八、总结 一、集群概念 1.集群概念 多台主机构成一个整体，每个主机有自己的 ......
php中执行redis的布隆过滤器的代码
<?php //测试redis 布隆过滤器 $redis = new Redis(); $redis->connect('127.0.0.1', 6379); // 创建一个布隆过滤器： //$redis->rawCommand('BF.RESERVE', 'nzc:redisbloom3', '0 ......
使用docker部署pg集群（postgresql+postgis+pgrouting+pgpool）
# 使用docker部署pg集群（postgresql+postgis+pgrouting+pgpool） ## 1，安装docker ```` yum install docker ```` ## 2，拉取docker容器 ```` docker pull hub-mirror.c.163.com ......
HDFS集群搭建：完全分布式
本文介绍了HDFS集群中单点故障：HDFS-HA解决方案以及因此引入的Journal Node、ZKFC、Active NameNode切换过程以及HA环境搭建启动等细节。 ......
数据库任务定时同步到redis
把数据库任务定时存储到redis：当前时间 < 执行时间 <= 预设时间(当前时间+5分钟) 预加载：如果任务量特别大，一次将数据库所有future任务全都加载到redis内存，可能会导致阻塞。 1.清理缓存中的数据 2.查询小于未来5分钟的所有任务 3.新增任务到redis /** * 数据库任务 ......
redis 用docker搭建哨兵模式
cd /home/soft/redis/config vi sentinel-26379.conf : port 26379sentinel monitor mymaster 192.168.75.10 6379 2 vi sentinel-26380.conf :port 26380sentine ......
redis用docker 部署主从
docker pull redis cd /home/soft mkdir -p redis/configmkdir -p redis/data/data6379 redis/data/data6380 redis/data/data6381 cd /home/soft/redis/config v ......
hadoop集群配置 CentOS7 JDK安装 卸载
1 JDK下载 下载JDK8 下载地址 2 SSH访问需要安装JDK的服务器 3 检查是否有默认安装的JDK java-version 4 卸载自带JDK 4.1 检查系统安装的OpenJDK rpm -qa|grep openjdk -i 4.2 删除以上四项openjdk的安装包并且检查后显示删 ......
【Redis】八股文(一)
### 什么是Redis - 基于key-value存储结构的NoSQL数据库 - 提供了String, Map, Set, ZSet, List等多种数据类型 - 功能丰富：支持发布订阅模式，能够为数据设置过期时间，能够对数据进行持久化，支持分布式存储和读写分离，支持创建事务 - 性能高：基于内存 ......
10.10.10.103 graylog单台docker-compose es集群分离docker-compose
centos7 cp -r /etc/yum.repos.d/ /etc/yum.repos.d.bak vim /etc/yum.repos.d/CentOS-Base.repo [base]name=CentOS-$releasever - Basebaseurl=https://mirrors ......
redis初探——redis配置和redis的数据类型简述
0.Redis，启动！ 安装工作完成以后，我们需要到redis的目录下打开cmd，输入redis-server.exe redis.windows.conf，此时的界面应该如下 出现这样的界面代表成功，如果是其他的界面例如： 这个代表端口被占用，可能是之前开启的服务没有关闭，我们输入以下代码即可。 ......
分布式锁解决集群下的方法抢占执行
问题描述： 启动两台heima-leadnews-schedule服务，每台服务都会去执行refresh定时任务方法 分布式锁：控制分布式系统有序的去对共享资源进行操作，通过互斥来保证数据的一致性。 分布式锁的解决方案： sexnx （SET if Not eXists） 命令在指定的 key 不存 ......
企业集群的应用 - LVS 负载均衡集群
[toc] ## 一、什么是集群 Cluster，集群、群集、横向扩展 由多台主机构成，但对外只表现为一个整体，只提供一个访问入口（域名与IP地址），相当于一台大型计算机。 使用价格昂贵的小型机、大型机 使用普通服务器构建服务群集 通过整合多台服务器，使用 LVS 来达到服务器的高可用和负载均衡，并 ......
你分库分表的姿势对么？——详谈水平分库分表
一、背景 提起分库分表，对于大部分服务器开发来说，其实并不是一个新鲜的名词。随着业务的发展，我们表中的数据量会变的越来越大，字段也可能随着业务复杂度的升高而逐渐增多，我们为了解决单表的查询性能问题，一般会进行分表操作。 同时我们业务的用户活跃度也会越来越高，并发量级不断加大，那么可能会达到单个数据库 ......
Redis集群、部署Redis集群
Redis集群 集群概述 所谓集群，就是通过添加服务器的数量，提供相同的服务，从而让服务器达到一个稳定、高效的状态 单个redis存在不稳定性。当redis服务宕机了，就没有可用的服务了 单个redis的读写能力是有限的 Redis集群是为了强化redis的读写能力 redis集群中，每一个redi ......
Redis 6.0 新特性-多线程连环13问！
导读：支持多线程的Redis6.0版本于2020-05-02终于发布了，为什么Redis忽然要支持多线程？如何开启多线程？开启后性能提升效果如何？线程数量该如何设置？开启多线程后会不会有线程安全问题？多线程的实现原理是怎样的？带着这些疑问，我们来开启Redis新特性-多线程连环13问。 image ......
Redis
[toc] # 一、Redis介绍 ```python # Redis ：软件，存储数据的，速度非常快，redis是一个key-value存储系统（没有表的概念），cs架构的软件 -服务端 客户端（python作为客户端，java，go，图形化界面，命令窗口的命令） # es：存数据的地方 ``` ......
基于Redis分布式缓存
1.安装包 使用Redis分布式缓存需要安装Redis的支持包，可以通过nuget命令安装，如下： install-package Microsoft.Extensions.Caching.StackExchangeRedis 2.在Program.cs文件中注册 builder.Services. ......
redis实现延迟任务
1、添加任务到数据库 2、判断当前任务的执行时间 执行时间<=当前时间：存储到 list（当前消费队列） 当前时间<执行时间<=预设时间(预设时间=当前时间+5分钟)：存储zset （未来数据队列），定时刷新从zset中将任务存入list。 一、添加任务 1、创建task类，用于接收添加任务的参数 ......
Spring boot 1.x 升级2.x, swagger,redis 升级
# Spring boot 1.x 升级2.x boot 1.5.22 -> 2.7.0 swagger 2.9.2 -> 3.0.0 spring-data-redis 1.8.4.RELEASE -> 2.7.0 ## swagger: ```<dependency> <groupId>io.s ......
项目集成redis
1、在项目导入redis相关依赖 <!--spring data redis & cache--> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis< ......
linux安装redis3.0
linux安装redis3.0 1. 把下载好的redis压缩包上传至app 解压完成之后，修改成redis文件夹 2.进入redis文件夹 进行编译和安装 cd /usr/local/redis makemake PREFIX=/usr/local/redis install/usr/local/ ......
kubesphere 安装redis和测试
1. 搭建 从仓库找一个模版安装，很容易： 设置一个密码：123456， 然后点安装即可。 2. 看下搭建情况 2.1. 应用 2.2. 服务 是个headless服务，无法采用clusterip访问了 2.3. 容器 3. 测试 创建一个k8s客户端进行测试 bash-5.1# kubectl r ......
java限流-基于redis+lua
redis是线程安全的，天然具有线程安全的特性，支持原子性操作，限流服务不仅需要承接超高QPS，还要保证限流逻辑的执行层面具备线程安全的特性，利用Redis这些特性做限流，既能保证线程安全，也能保证性能。 结合上面的流程图，这里梳理出一个整体的实现思路： 编写lua脚本，指定入参的限流规则，比如对特 ......
redis实现延迟任务
实现思路： 发布时间：立即发布、未来要发布 list存立即发布，redis中的list是双向链表，方便添加查找性能较高。 zset可以去重、排序，存储未来要发布的。 为什么要把任务存储到数据库中？ 延迟任务是一个通用的服务，任何有延迟需求的任务都可以调用该服务，内存数据库的存储是有限的，需要考虑数据 ......