集群cluster linux redis
六、Redis缓冲区
Redis缓冲区有两个应用场景： 在客户端和服务器端之间进行通信时，用来暂存客户端发送的命令数据，或者是服务器端返回给客户端的数据结果； 主从节点间进行数据同步时，用来暂存主节点接收的写命令和数据 客户端缓冲区 是为了解决客户端和服务端请求和处理速度不匹配问题的，它又分为输入和输出缓冲区。 输入缓冲 ......
七、如何保证 Redis 中的数据不丢失
单机单节点模式使用 AOF 和 RDB 结合的方式 RDB 做镜像全量持久化，AOF 做增量持久化。因为 RDB 会耗费较长时间，不够实时，在停机的时候会导致大量丢失数据，所以需要 AOF 来配合使用。 Redis 集群模式 1、master 节点持久化 2、Redis断点续传：主从复制过程中，如果 ......
五、Redis内存消耗
从性能上来说，内存占用过高会引起Reids响应变慢 从高可用上来说，内存过大可能会会引起部分数据丢失，故障恢复变慢 Redis内存消耗主要在于其主进程消耗和子进程消耗。而主进程消耗又主要包括自身内存、对象内存、缓冲区内存、内存碎片五个方面 1、自身内存 指Redis进程自身所占用的内存，这部分内存通 ......
Linux shell 之 提取文件名和目录名的一些方法
Linux shell 之 提取文件名和目录名的一些方法 很多时候在使用Linux的shell时，我们都需要对文件名或目录名进行处理，通常的操作是由路径中提取出文件名，从路径中提取出目录名，提取文件后缀名等等。例如，从路径/dir1/dir2/file.txt中提取也文件名file.txt，提取出目 ......
redis应用场景--记录文章，图文，或者视频的浏览次数
在阅读博客文章时，你可以看到一篇文章被阅读的次数，如果使用mysql， 那么在设计article表时，就必须设置一个view_count字段来记录这篇文章被阅读的次数。 但这种方式相比于使用redis，并不是一种好的办法，原因在于，每次更新view_count字段的值都是一个比较费力的过程。 首先， ......
org.springframework.data.redis.RedisSystemException: Redis exception; nested exception is io.lettuce.core.RedisException: java.io.IOException: Connection reset by peer
springBoot + redis. 程序隔一段时间会莫名其妙的报Redis的错误. 报错如下: org.springframework.data.redis.RedisSystemException: Redis exception; nested exception is io.lettuce ......
redis应用场景--实现布隆过滤器
简述布隆过滤器的实现思路： 假设有一个长度为n的比特数组，bit_array,数组里的每一位都是0，对于一个url或者是其他数据，使用hash算法计算出url的散列值，这个散列值当然是一个整数，暂且命名为index，index=index%n，确保index的值小于n，查看bit_array[ind ......
docker - 配置linux 自启动容器
1.背景 自启动配置看我这这篇随笔【linux - 配置自启动服务 - 岑惜 - 博客园 (cnblogs.com)】 2.解决 首次启动容器，需要对容器命名，否则会随机生成命名，反正命名要唯一即可 命名启动方式例子 docker run --name 【容器名】 -i -t -d -e TZ="A ......
linux安装pycharm,java
1，安装pycharm实际只要下载了tar.gz，然后解压就可以了，但是还需要安装Java 2, 官网https://www.oracle.com/java/technologies/downloads/下载java后，解压tar.gz文件夹，然后将Java的路径写入环境变量 3，问题是网上很多教程 ......
redis应用场景--游戏排行榜
有序集合也是集合，不同之处在于，集合里的元素可以附带这个分数，元素不能重复，但是分数可以重复，不仅如此，还可以根据分数进行排序。 很多游戏都有玩家得分的排行榜，这个排行榜随时处于变动中。 游戏有很多玩家，可以设计一张表，记录每一个玩家的分数，并根据玩家新一局的分数来更新这张表，当需要获取排行榜前10 ......
redis 基本数据类型
所有数据都以唯一 key 字符串作为名称，而 value 只是数据类型的差异。所以，针对 key 的命令都是通用的。 方便演示，采用 docker 镜像，可以选择 redis:latest 镜像，这里我选择了带布隆过虑器的 redis 镜像。 docker run -p 6379:6379 --na ......
linux 批量修改文件名 文件名只保留部分，去掉部分
linux 批量修改文件名 文件名只保留部分，去掉部分 问题：linux系统中文件名包含中文，导致页面访问不了文件。就是上条博客中的解决方法二遗留问题。 文件名中有以下格式：TC2_诺而达铜管（中山）有限公司.pdf ，要改为TC2.pdf,去掉中文部分 1、先了解linux 获取文件名，截取字符串 ......
redis应用场景--缓存过期时间
缓存可以有效的提高关键数据的获取速度，使得不必要每次查询数据库，避免了数据库被击穿。 主动更新： 需要知道这份数据的实效时间点，然后在那个时间点到来时重新更新数据，可能是查询数据库，也可能是访问第三接口，在获得数据之后，更新redis缓存。 被动更新： 程序每次都去redis获取数据，但对这份数据设 ......
python操作redis--pipeline
如何使用pipeline： from redis.client import Redis conn = Redis(host="0.0.0.0",port=6379,db=0,password="") with conn.pipeline() as p: for i in range(100): p ......
【Linux】上传下载文件命令rz、sz
安装 要使用rz、sz命令传输文件需要给服务器安装lrzsz: yum -y install lrzsz 上传 上传文件只需在shell终端仿真器中输入命令“rz”，即可从弹出的对话框中选择本地磁盘上的文件，上传到服务器当前路径下。【选择需要上传文件，一次可以指定多个文件】 下载 下载文件只需在sh ......
Kubernetes 集群管理：Kurator or Kubespray
摘要：Kubespray 和 Kurator 就是这类开源工具的典型代表。本文将对这两款工具进行比较。 本文分享自华为云社区《Kubernetes 集群管理：Kurator or Kubespray-华为云云原生团队》，作者： 云容器大未来 。 随着云计算技术的飞速发展，Kubernetes 已经成 ......
Linux主机磁盘扩容LVM(逻辑分区)
转自[Linux主机磁盘扩容LVM(逻辑分区)_linux逻辑卷扩容_C3399的博客-CSDN博客](https://blog.csdn.net/C3399/article/details/128805712) 1、判断待扩容的分区是否是逻辑分区 通过 lsblk 命令，判断目标分区是否是逻辑分区 ......
linux配置虚拟ip实现主备双击高可用
# linux配置虚拟ip实现主备双击高可用 > 背景：设置了虚拟ip指向两台服务器，但是没有配置虚拟网卡，虚拟ip10.249.134.227 分别指向 10.249.134.193，10.249.134.194， > > 使用HaVip结合keepalived实现主备双机高可用 转自[HaVip ......
Python+Redis学习笔记
首先，通过pip来安装操作redis的相关包，pip install redis 然后导入我们要使用的模块，form redis.Client import Redis 然后，通过docker启动redis， from redis.client import Redis r = Redis(host ......
k8s集群证书过期的处理方法
1、检查证书过期时间 在所有控制平面节点执行： kubeadm alpha certs check-expiration #新版为 kubeadm certs check-expiration 2、更新证书 在所有控制平面节点执行： kubeadm alpha certs renew all #新版 ......
自定义linux登陆logo
1. 众所周知，修改bashrc或者profile文件可以添加字符界面的logo 效果：每次登陆都显示 2. 修改/etc/motd也可以设置登陆logo 效果：初次登陆显示 ......
linux设置开机启动nginx、java
# linux设置开机启动nginx、java ### 1、开机启动nginx 我是用yum安装的nginx，nginx启动程序在/usr/sbin/nginx ```java #修改/etc/rc.d/rc.local文件 #添加/usr/sbin/nginx #添加后执行chmod +x /et ......
为什么程序员相互用linux
程序员相互使用 Linux 主要因为以下原因： 1、开放源代码：Linux 是开源的操作系统，可以自由地获取、修改和分发，这意味着任何开发人员都可以对其进行自定义设置和调整，而且还可以以相同或类似方式与其他人共享和协作工作。 2、适合开发环境：Linux 提供了丰富的命令行工具、新增工具和脚本语言等 ......
linux 系统飞书邮箱报警设置
### 飞书邮箱报警设置 - vi /etc/mail.rc ``` set ssl-verify=ignore set nss-config-dir=/etc/pki/nssdb set from=xxxx@yyy.ai set smtp=smtps://smtp.feishu.cn:465 se ......
《Linux系统管理初学者指南 基于CentOS 7.6》pdf电子书免费下载
这是一本面向零基础读者的Linux入门图书。书中所有内容，都是从初学者的角度来组织编写的。虽然这本书从系统运维的角度来介绍Linux系统的使用，但是同样也适用于各类以Linux为基础平台的专业人员，因为书中所介绍的是Linux系统中基础和通用的操作。适用于系统运维、嵌入式、云计算、大数据和人工智能等 ......
linux环境下jenkins搭建过程+Flutter打包集成
安装jenkins 配置java环境，android sdk环境，flutter环境 配置flutter自动打包脚本 安装jenkins 1.下载jenkins安装包 首先下载jenkins安装包，官网下载地址：https://www.jenkins.io/download/ ，如果嫌太慢可以使用镜 ......
redis主从、哨兵、cluster
在redis集群中，从节点一般用于备份操作，主节点挂了，从节点顶上去，读写操作一般都是主读主写。 # 主从架构 用处：用于数据备份操作，主节点挂了之后可以有备份节点顶上去当主节点。 缺点：主节点挂了需要手动切换从节点为主节点 ......
【Redis】【缓存】数据库和缓存如何保证一致性？
1 前言 通常针对服务器的访问速度越来越差，基本性能瓶颈是在数据库，那么我们通常会给服务器加上 Redis，让其作为数据库的缓存或者本地缓存，这样，在客户端请求数据时，如果能在缓存中命中数据，那就查询缓存，不用在去查询数据库，从而减轻数据库的压力，提高服务器的性能。 缓存无非就是对数据的一份Copy ......
【Linux】Ubuntu apt 安装故障 Could not get lock /var/lib/dpkg/lock-frontend
报错提示 E: Could not get lock /var/lib/dpkg/lock-frontend - open (11: Resource temporarily unavailable) E: Unable to acquire the dpkg frontend lock (/var ......
linux 中awk命令实现从gff文件中排除pseudogene信息
001、 [b20223040323@admin2 test]$ ls a.gff [b20223040323@admin2 test]$ cat a.gff region 1 pseudogene 2 transcript 3 exon 4 pseudogene 5 transcript 6 ex ......