redis集群 最新版redis-py
linux 环境下用rancher安装k8s集群
准备环境： 3台机器 一、环境初始化 1）修改 /etc/sysctl.conf 将桥接的IPv4流量传递到iptables的链 cat > /etc/sysctl.conf << EFO net.ipv4.ip_forward = 1 net.bridge.bridge-nf-call-ip6ta ......
通过 Homebrew 在 Mac OS X 上安装和配置 Redis
通过使用 Homebrew，可以大大降低在 Mac OS X 上设置和配置开发环境的成本。 让我们安装 Redis。 $ brew install redis 安装后，我们将看到一些有关配置注意事项的通知。 离开它并继续关注本文中的一些任务。 开机自启动 Redis $ ln -sfv /usr/l ......
最新版本 Stable Diffusion 开源 AI 绘画工具之使用篇
🎈 界面参数 在使用 Stable Diffusion 开源 AI 绘画之前，需要了解一下绘画的界面和一些参数的意义 目前 AI 绘画对中文提示词的效果不好，尽量使用英文提示词 最主要一些参数如下： Prompt： 正向提示词，也就是 tag，提示词越多，AI 绘图结果会更加精准 Negative ......
Hadoop完全分布式集群搭建
0 准备工作 首先需要准备三台虚拟机，这里准备的是hadoop1，hadoop1，hadoop3，虚拟机机要求如下： 配置了静态IP。 关闭了防火墙的。 虚拟机下载安装：https://www.cnblogs.com/lgjb/p/17292698.html 1 配置ssh免密登录 配置ssh免密登 ......
docker-compose 运行 redis
redis.conf logfile /data/redis/logs/redis.log dir /data/redis/data bind 0.0.0.0 requirepass 123456 UID # docker run --rm -it redis:7.0.10 id redis uid ......
Redis之持久化讲解
1 Redis持久化 Redis数据是存储在内存中的，但是我们都知道内存的数据变化是很快的，也容易发生丢失，为了保证Redis数据不丢失，那就要把数据从内存存储到磁盘上，以便在服务器重启后还能够从磁盘中恢复原有数据，这就是Redis的数据持久化。 Redis数据持久化有三种方式： AOF 日志（Ap ......
redis集群，模块启动报错：PoolException: Returned connection io.lettuce.core.cluster.StatefulRedisClusterConnectionImpl@49bd0985 was either previously returned or does not belong to this connection provider
redis 3主3从的配置 启动正常，客户端命令使用正常，突然今天开发测试环境 有些模块报错了： org.springframework.data.redis.connection.PoolException: Returned connection io.lettuce.core.cluster. ......
nodejs新版本引起的：digital envelope routines::unsupported
一、起因# 由于电脑重装系统，重新下载nodejs,自然更新到最新版本18，之前的版本才16。更新到最新nodejs版本后，运行vue文件，报错： this[kHandle] = new _Hash(algorithm, xofLen);^ Error: error:0308010C:digital ......
Ubuntu 20.04 安装ClickHouse集群
Ubuntu 20.04 安装ClickHouse集群 引言 因为笔者最近一直想实现一个自己的APM服务端，但是看了很多APM服务端系统没有使用.Net Core来写的，都是采用Java或者Go，笔者是写C#的，但是笔者认为.Net Core的性能在现在对比Go和Java很有优势，所以笔者才有想法使 ......
oracle data guard集群之参数文件详解
############# 1.log_archive_config 该参数必须显式声明主备库的db_unique_name，且主库的db_unique_name永远放在第一位。其他备库的跟随其后。该参数适用于：主库、物理备库、逻辑备库、快照备库。 log_archive_config = 'dg_ ......
k8s-外置ETCD集群部署
如何把ETCD的数据库备份，以及还原的操作方法（待更新中） 地址： Etcd 是一个分布式键值存储系统，Kubernetes使用Etcd进行数据存储，所以先准备一个Etcd数据库，为解决Etcd单点故障，应采用集群方式部署，这里使用3台组建集群，可容忍1台机器故障。为了节省机器，这里把3个ETCD实 ......
Redis内存容量评估
业务侧申请redis服务器资源时，需要事先对redis容量做一个大致评估，之前的容量评估公式基本只是简单的 （key长度 value长度）* key个数，误差较大，后期经常需要进行缩扩容调整，因此提出一个较精确的redis容量评估模型就显得很有必要。 先来查看一个命令： info memory us ......
MongoDB 与 Redis 的比较
MongoDB 和 Redis 都是流行的 NoSQL 数据库系统，但它们的应用场景和特点不同，主要体现在以下几个方面： 1.数据类型：MongoDB 是面向文档的数据库系统，支持复杂的数据类型，如嵌套文档、数组等；Redis 则是一个基于内存的键值数据库系统，支持字符串、哈希表、列表、集合等简单数 ......
ZooKeeper数据和集群特点，ZAB协议和选主过程解析
前言 本文讲述 ZooKeeper 集群架构特点、数据结构、事务ID、选主和ZAB协议具体执行过程。 服务保证 ZooKeeper 非常快速且非常简单。由于它的目标是构建更复杂的服务（如同步）的基础，因此它提供了一组保证： 【顺序一致性】来自客户端的更新将按发送顺序执行，因为只有唯一的主节点负责写请 ......
Redis 在消息队列中的应用
1.Redis 的 List 数据类型 1.1 List 数据类型的特点 List 列表是 Redis 提供的一种重要的数据类型。它是由若干个字符串元素组成的集合，并且每个字符串元素都是按照插入顺序排序的。也可以将列表理解为多个字符串组成的一个集合对象，并按照链表（Link List）的插入顺序排序 ......
Hadoop搭建（集群）
HADOOP配置文件 | | core-site.xml | | | | | hadoop.tmp.dir | /opt/hadoop/tmp | | fs.defaultFS | hdfs://master:9000 | | | hdfs-site.xml | | | | | hadoop.nam ......
Springboot+ElasticJob-Lite实现集群任务调度
前言 ElasticJob-Lite是集群环境下应用（比如SpringCloud微服务）任务调度的解决方案。 集群部署的时候，一个定时任务会有多个进程执行，如果不进行任何处理，会导致任务触发的时候每个进程重复执行一次。 解决办法有两种：一种是加锁，保证同时只有一个进程执行任务，比如用分布式锁，或者用 ......
redis主从同步、哨兵自动故障迁移具体过程解析
前言 本问阐述 Redis 主从同步、哨兵监控和故障迁移的过程，并通过各个服务日志加以验证。 准备工作 主从和哨兵安装见 安装过程。 为了方便通过日志观察同步过程，你可以在每个 Redis 和 Sentinel 配置文件中修改下面参数，实现前台运行并将日志输出到控制台。 # 这两个配置是为了实现前台 ......
RedisTemplate Pipeline 封装和使用，优化Redis操作
前言 公司游戏项目服务端运行过程中，依赖 Redis 保存游戏过程数据。与客户端一次交互会对 Redis 进行大量的操作，在内网开发环境下测试，一次操作开销在 1-2 ms，建立连接和网络开销累积在一起大大降低了响应速度，这种场景下可以使用 Redis Pipeline 进行优化。 Redis Pi ......
Redis各种数据分片方式应用场景以及优缺点
前言 数据分片是指将数据按某种方式存储到不同的服务上来解决单机服务容量不足的问题。 本文围绕 Redis 讲述逻辑拆分、随机分配、哈希取模、一致性哈希等分片算法原理和使用场景。并在此基础上对比客户端分片、代理(Proxy) 和 Redis Cluster 各自的优缺点。 客户端分片 三种普通方式 逻 ......
Redis 在排行榜中的应用
1.Redis 的 Sorted Set 数据类型 1.1 Sorted Set 数据类型的特点 Sorted Set 有序集合是 Redis 提供的一种重要的数据类型。它是由不重复且有序的字符串元素组成的，而且每个元素都会关联一个 double 类型的分数，通过该分数来为集合中的成员进行从小到大的 ......
Redis持久化RDB和AOF原理解析、使用和优缺点对比
前言 本文讲述 Redis 两种持久化方式 RDB 和 AOF 优缺点以及原理。 为何需要持久化？ Redis 是基于内存操作的，进程终止、服务器宕机后内存数据会丢失，但是在很多使用场景中我们希望数据不丢失，服务重启之后数据还能恢复到停机前的状态，特别是使用 Redis 做数据库的情况。 Redis ......
Redis布隆过滤器的原理和安装使用
前言 本文讲述布隆过滤器 (RedisBloom) 的基本原理和安装使用。 RedisBloom是什么？ RedisBloom 是 Redis 中过滤器模块，可以用来判断值是否存在，常用来解决缓存穿透问题。 查询数据时，先用 RedisBloom 判断数据是否存在，不存在则直接返回，存在则从缓存 / ......
（数据科学学习手札151）速通pandas2.0新版本干货内容
本文示例代码已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 大家好我是费老师，前两天pandas正式发布了其2.0.0版本，作为一次大版本更新，pandas针对底层进行了大量的重构以优化性能和稳定性，其有关这 ......
K8s集群搭建问题
警告Cgroup Driver不一致 节点加入集群会警告 docker 和 kubelet 的 Cgroup Driver 不一致，但是暂未发现影响，如图： 解决办法：修改 docker 的 Cgroup Driver 为 systemd vim /etc/docker/daemon.json 加下 ......
Redis 在身份认证中的应用
1.Redis 在 Session 共享问题中的应用 传统 Session-Cookeis 身份认证方法中，一个 Session 只保存在一台服务器上，适合域单体应用。随着项目规模的增加，项目的架构也不断向微服务分布式集群演进，传统的 Session-Cookie 方式在集群环境下就不能很好的工作了 ......
在Linux内网搭建K8s集群
前言 本文讲述在Linux内网搭建K8s集群详细步骤，解决搭建过程中的问题。 脚本基本可以不修改直接使用。 准备工作 需要Linux CentOS 7.x 两台及以上，本文用的 7.6。 主机要求有2个核心及以上。 安装步骤多个节点可以并行操作，默认所有操作各节点都要执行，某些操作仅主/工作节点执行 ......
2021-12-30-k8s集群进行删除并添加node节点
layout: post cid: 7 title: k8s集群进行删除并添加node节点 slug: 7 date: 2021/12/30 16:58:32 updated: 2021/12/30 16:58:32 status: publish author: cby categories: 默 ......
2021-12-30-Docker启动MySQL、MongoDB、Redis、Elasticsearch、Grafana，数据库
layout: post cid: 5 title: Docker启动MySQL、MongoDB、Redis、Elasticsearch、Grafana，数据库 slug: 5 date: 2021/12/30 16:57:00 updated: 2022/03/25 15:53:08 status ......
在Linux搭建Zookeeper集群
前言 本文讲述在多台 Linux 服务器搭建 ZooKeeper 集群的具体步骤，共 4 个节点（1 主 2 从 1 观察者）。 ZooKeeper使用的端口：【2181】对 client 提供服务；【3888】选举 leader；【2888】集群内通讯。 准备工作 ZooKeeper需要1.7及以 ......