主从 集群redistemplate redis
DataX vs 腾讯云COS对象存储 -> StarRocks集群
本文将介绍使用DataX读出Cos的Orc文件往StarRocks里面写。 需求: 需要将腾讯云cos上84TB的数据, 同步到StarRocks某个大表。正常每个分区数据量20~30亿，600GB。 工具：DataX插件：hdfsreader、starrockswriter对象存储COS：非融合 ......
docker swarm 部署一主两从的redis集群
docker-compose文件准备 docker-compose-redis-cluster.yml version: '3.8' services: redis-master: image: redis command: redis-server --requirepass your_passw ......
Redis 3 种特殊数据类型详解、Redis内存碎片
Cache Aside Pattern（旁路缓存模式） Cache Aside Pattern 是我们平时使用比较多的一个缓存读写模式，比较适合读请求比较多的场景。 Cache Aside Pattern 中服务端需要同时维系 db 和 cache，并且是以 db 的结果为准。 下面我们来看一下这个 ......
超算集群安装OpenFOAM-LIGGGHTS-CFDEM(普通用户权限-以CSU HPC CentOS7.9为例)
普通用户权限超算集群安装OpenFOAM-LIGGGHTS-CFDEM，由于缺少root权限，无法根据CFDEM官方instruction进行安装。 本文以CSU超算平台为例，利用普通用户权限进行编译安装。文章修正了已有教程中部分问题，特别感谢希望先生与记得小蘋初见教程。 1. 安装必要依赖包 此部 ......
Redis-server闪退问题
对于无缘无故出现闪退的情况，就是因为我们的redis处于长时间运行的原因： 打开redis-cli.exe 窗口 执行shutdown命令然后输入exit 退出我们redis: 退出成功之后重新打开redis就好了(redis-server.exe) ......
PHP里redis的大坑：加号被转为空格
最近在PHP中使用js把图像的base64存入redis，取出来的时候发现无法正常显示图像。 试了无数次，javascript看来看去也没有问题，最终发现是redis的问题：加号全部被自动转为空格了。 （尚未仔细检查是否为PHP里的 $redis = new Redis(); 这个的问题，还是说这个 ......
Redis 也支持全文搜索 了？这也太强了
在 2021 年我就了解到 RediSearch 这个项目，并已经把它用于我的开源项目 newbee-mall-pro 中。 就我的使用体验来说，简单场景下，用来平替 Elasticsearch 的使用场景已经足够。像是 Elasticsearch 中常用中文分词插件可以用 RediSearch 替 ......
Ranther管理K8S集群
什么是Ranther Rancher 是一个 Kubernetes 管理工具，让你能在任何地方和任何提供商上部署和运行集群。 Rancher 可以创建来自 Kubernetes 托管服务提供商的集群，创建节点并安装 Kubernetes，或者导入在任何地方运行的现有 Kubernetes 集群。 R ......
C++聊天集群服务器6
一、客户端开发 代码如下： #include "json.hpp" #include <iostream> #include <thread> #include <string> #include <vector> #include <chrono> #include <ctime> #includ ......
Redis哨兵
是什么 吹哨人巡查监控后台master主机是否故障，如果故障了根据投票数自动将某一个从库转为新主库，继续对外服务 能干嘛 主从监控：监控主从Redis库运行是否正常 消息通知：哨兵可以将故障转移的结果发送给客户端 故障转移：如果Master异常，则会进行主从切换，将其中一个Slave作为新Maste ......
Redis的数据类型以及使用场景，看这一篇就够啦
Redis的数据类型以及使用场景，看这一篇就够啦 原创2021-06-20 18:02·猿视野 Redis 数据类型 string String hash HashMap list LinkedList set HashSet sorted_set TreeSet redis 数据存储格式 redi ......
基于Docker容器搭建hadoop完全分布式集群环境
简介 物理机：windows10 宿主机：Centos7虚拟机，需要安装Docker服务 hadoop集群节点：3个centos7的容器，hadoop1、hadoop2、hadoop3 组件： 容器镜像：Centos7 Docker CE 24.0.7 JDK1.8.0_181 Hadoop3.1. ......
Redis和Springboot在Windows上面设置开机启动的方法
Redis和Springboot在Windows上面设置开机启动的方法 背景 同事遇到一个问题 Windows 晚上自动更新服务 然后第二天 Springboot开发的程序没有启动起来. 所以基于此想创建一个开机启动的服务设置 很早之前自己研究过 Winsw等工具 但是感觉对springboot 比 ......
docker部署mysql主从复制
一、拉取mysql镜像 docker pull mysql/mysql-cluster docker tag mysql/mysql-cluster mysql-cluster 二、创建目录和配置文件 1、创建目录 # 创建master主节点目录 mkdir /home/mysql/cluster/ ......
Redis复制
是什么 主从复制，master以写为主，slave以读为主。 当master数据变化的时候，自动将新的数据异步同步到其他slave数据库 能干嘛 读写分离 容灾恢复 数据备份 水平扩容支撑高并发 怎么玩 master如果配置了requirepass参数，需要密码登录，那么slave就要配置maste ......
kubeadm更新k8s集群证书(1.23.14版本)
1、更新证书 [root@k8s-master01 kubernetes-1.23.14-0]# kubeadm certs renew all --config=kubeadm-config.yaml certificate embedded in the kubeconfig file for ......
基于Redis的简易延时队列
基于Redis的简易延时队列 一、背景 在实际的业务场景中，经常会遇到需要延时处理的业务，比如订单超时未支付，需要取消订单，或者是用户注册后，需要在一段时间内激活账号，否则账号失效等等。这些业务场景都可以通过延时队列来实现。 最近在实际业务当中就遇到了这样的一个场景，需要实现一个延时队列，用来处理订 ......
centos7.9 编译安装redis 6.2.6
参考地址：https://zhudo.net/server/linux/149.html 1.下载和安装 下载redis 需要其他版本去官网自行下载 wget -c https://download.redis.io/releases/redis-6.2.6.tar.gz //解压 tar -zvx ......
kubeadm续期k8s集群证书
1、备份 mkdir /opt/2023-12-09-k8s-backup cp -a /etc/kubernetes /opt/2023-12-09-k8s-backup cp -a /var/lib/etcd /opt/2023-12-09-k8s-backupcp -a /root/.kube ......
k8s:通过 kubectl 插件 Kubepug 实现集群升级检查(废弃API资源检查)
背景:k8s 的版本迭代很快，虽然主要版本一直没有变化，但是次要版本一直在迭代，2022年一年就发布了三个次要版本，同时不同的次要版本之间 API 资源一直在变化，有新加入的，也有废弃删除的。不同版本的 api 资源版本也有不同，往往不是向下兼容的，比如在低版本中 API 资源版本为 v1beta1 ......
Caused by: io.lettuce.core.RedisCommandExecutionException: NOAUTH Authentication required.【Springboot 连接 腾讯 redis 认证失败解决】
原文链接 ： https://blog.csdn.net/De_Buffer/article/details/132492287 最终解决方法 虽然通过更换连接客户端为jedis解决了问题，但不符合发展趋势，lettuce已成为主流redis客户端，springboot2官方推荐，因此在这个保底方案 ......
redis stream 消费者组的使用
Redis Streams 是一个支持多生产者和多消费者的数据结构，它以时间顺序保存了一系列的消息。消费者组是 Redis Streams 中一个强大的概念，它使多个消费者能够协同地消费消息。 以下是关于 Redis Stream 消费者组的详细讲解： 1. 创建流 (Stream) 在 Redis ......
Redis报错：(error) DENIED Redis is running in protected mode because protected mode is enabled and no password is set for the default user
一、报错内容 (error) DENIED Redis is running in protected mode because protected mode is enabled and no password is set for the default user. In this mode c ......
kafka集群双活-数据迁移
一、集群搭建（kafka使用自带的zookeeper） 前提：必须要有java环境 1、下载地址： http://kafka.apache.org/downloads 2、安装目录 /app/kafka tar -zxvf kafka_2.12-3.6.1.tgz 建立数据和日志存储目录 mkdir ......
Redis报错：WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128
报错内容： 1:C 08 Dec 2023 05:47:33.348 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo 1:C 08 Dec 2023 05:47:33.348 # Redis version=7.0.5, bits=64, commit ......
docker desktop 运行的 mysql、redis连接不上
docker desktop 运行的docker实例不能连接使用 原因：映射的宿主机端口没有写 填上端口号就好了 ......
redis分布式锁实现原理
在.net core 中，可以使用StackExchange.Redis实现redis分布式锁， /// <summary>/// 分布式锁/// </summary>/// <param name="Redis">RedisDB</param>/// <param name="Key">锁标识</ ......
redis集群双活-数据迁移
一、redis双活 1、集群搭建 （一主两从） Redis-Sentinel是redis官方推荐的高可用性解决方案，sentinel哨兵是特殊的redis服务，不提供读写服务，主要用来监控redis实例节点，当用redis作master-slave的高可用时，如果master本身宕机，redis本身 ......