集群cluster linux redis

前言 本文主要讲述 Redis 代理 Twemproxy 安装过程。 Twemproxy 是推特开源用于 Memcached 和 Redis 的轻量级代理。这里以0.5.0版本为例。 我们可以通过取模、随机、一致性哈希等算法将数据分散在多个 Redis 服务来实现水平扩展。但是客户端直连就需要跟每个 ......

进程性能 pidstat cat /proc/5598(PID)/status free ps top pstree pgrep vmstat #使用top命令，查找pid $ top # 通过TOP -H -p 进程ID，找到具体的线程占用情况 $ top -H -p 21564 #通过命令pst ......

前言 本文讲述在 Linux 系统部署 Redis Cluster 实现数据分片的具体步骤。 请参考 Redis 单机部署 下载编译。 Redis Cluster是什么？ Redis Cluster 是官方提供的一种用数据分片来实现横向扩容的解决方案，由一个或多个 Redis 服务组成一个无主集群。 ......

前言 本文以predixy-1.0.5为例，讲述 Redis 代理 Predixy 安装过程。 Predixy 是一款高性能全特征 Redis 代理，支持 Redis-sentinel 和 Redis-cluster。作者拿其它常用代理做了 性能测评，Predixy 在各个维度性能都是最优的，与其他 ......

重点： 主从复制：主从复制是高可用redis的基础，主从复制主要实现了数据的多机备份，以及对于读操作的负载均衡和简单的故障恢复。 哨兵和集群都是在主从复制基础上实现高可用的。 缺点：故障恢复无法自动化，写操作无法负载均衡，存储能力受到单机的限制。 哨兵：在主从复制的基础上，哨兵实现了自动化的故障恢复 ......

前言 目前解决分布式系统下数据强一致性的主要算法理论是Paxos和Raft，偏向CAP定理一致性（Consistency）、可用性（Availability）、分区容错性（Partition tolerance）中的CP。 Raft在容错和性能方面和Paxos相当，不同之处在于它将问题分解成相对独立 ......

前言 ElasticJob-Lite-UI是任务的分布式调度解决方案（ElasticJob-Lite）搭配的可视化运维控制台。运维控制台和ElasticJob-Lite并无直接关系，是通过读取作业注册中心（Zookeeper）数据展现作业状态，或更新注册中心数据修改全局配置。 它具有这些功能：登录安 ......

一、TUN、TAP 虚拟网卡的工作原理： + + | | | + + + + | | | User Application A | | User Application B |< + | | + + + + | | | | 1 | 5 | | |...............|........... ......

前言 这篇是参考官网文档总结的Apollo分布式部署方式，包含具体步骤、资源和相关脚本，也在必要的地方给出了资料来源。 通过Apollo - 中文文档 - 部署架构可以了解到单机、集群和高可用部署架构的最佳实践方式。 安装步骤 本篇实践是在Linux系统，使用Apollo 1.9.1版本为例，要求环 ......

前言 本文以redis-6.2.5为例，讲述在 Linux 系统下单机 Redis 下载、编译、打包、安装为服务、启动和访问的整个过程。 安装环境为 Linux CentOS 64，本文用的 7.5 版本. 下载编译目录在当前目录soft/redis下，最终服务可执行程序在/opt/soft/red ......

前言 Linux 系统安装、配置 Maven 步骤和相关资源地址，以3.8.2版本为例。 安装 下载解压 # 备用地址清华镜像 https://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.8.2/binaries/apache-maven- ......

前言 EFAK（Eagle For Apache Kafka）是一个简单、高性能的Kafka集群监控系统，实现了监控、可视化操作Topic/Zookeeper、SQL查询、告警等功能，它以前的名字叫Kafka Eagle。 我们重点看看如何安装以及简单使用它。 kafka 版本支持：0.8.2.x, ......

前言 以Jenkins版本2.303作2例子在Linux系统直接安装的详细步骤，并解决插件下载速度慢问题。所有脚本可以直接复制在任意目录下执行。 下载启动包 echo "清华镜像下载启动war包到/opt/soft/jenkins目录" > /dev/null wget -P /opt/soft/j ......

1.安装虚拟机 网络类型 #1.桥接模式 上网不需要经过其他路由，上网速度快，ip数量少，容易跟同一网段的主机ip冲突。 #2.仅主机模式 只能与宿主机进行交互，并不能上网。 #3.NAT模式 ip多，独立的网段。上网需要经过VMnet8网卡。 下载虚拟机官网地址 https://centos.or ......

前言 本文讲述在 Linux 服务器安装JDK rpm安装 去 Oracle官网 下载.rpm格式的安装包，如 Oracle - JDK8 下载。 也可以从 CSDN - jdk-8u301-linux-x64.rpm.zip 下载。 echo "安装" > /dev/null rpm -ivh j ......

Redis系列1：深刻理解高性能Redis的本质 Redis系列2：数据持久化提高可用性 Redis系列3：高可用之主从架构 Redis系列4：高可用之Sentinel(哨兵模式） Redis系列5：深入分析Cluster 集群模式 追求性能极致：Redis6.0的多线程模型 追求性能极致：客户端缓 ......

1.linux路径 # 绝对路径 从/开始称为绝对路径 # 相对路径 从当前目录开始为相对路径 2.特殊符号 ~ 命令行中 表示当前的路径 .. 命令行中表示 上一级目录 . 命令行中表示当前的目录 # 代表了注释 3.命令行快捷键 ctrl+a 快速移动光标到行首 Home ctrl+e 快速移动 ......

前言 我们通过Yum几乎全自动的快速安装MySQL服务，这里演示的是8.0版本，给出了具体步骤、脚本、图例，和相关资料来源，以及解决远程连接相关问题。 准备工作 更换国内yum源提速 参考CentOS更换YUM源更换yum源，国内下载速度更快。 找MySQL官方yum仓库地址 这一步只是告诉大家后面 ......

Linux通配符主要用户模糊查找文件，常用的Linux通配符如下表所示： | 名称 | 作用 | | | | | * | 可以匹配任意数量任意字符 | | ? | 可以匹配一个任意字符 | | [] | 可以匹配括号中的任意一个字符 | | [^] | 可以匹配指定范围之外的任意单个字符 | 示例： ......

在Linux系统中，有着三种引号——单引号、双引号和反引号。这三个引号的作用如下： 双引号：可以把引号内的内容作为一个整体，保留特殊符号，不做特殊处理。（弱引用，可以实现变量替换） 单引号：除了作为一个整体外，还可以将引号内的所有内容转义为单纯的字符串。（强引用，不完成变量替换） 反引号：把引号内的 ......

命令替换是指将命令的标准输出作为值赋给某个变量，bash shell定义了两种语法进行命令替换。一种是使用反引号，另一种是利用啊$()，两种等价格式如下： `linux命令` $(linux命令) 例一： [root]# echo current path is `pwd` current path ......

实际项目中，需要通过编程语言去访问并操作 Redis。Redis 官方提供了多种语言的客户端，具体可访问以下地址：https://redis.io/clients Java 语言访问 Redis，常用的 API 包括： （1）Jedis：一个很小但很健全的 redis 的 java 客户端，通过 J ......

命令替换是指将命令的标准输出作为值赋给某个变量，bash shell定义了两种语法进行命令替换。一种是使用反引号，另一种是利用啊$()，两种等价格式如下： `linux命令` $(linux命令) 例一： echo current path is `pwd` echo current path is ......

1. Cluster 分片集群 1.1 Cluster 集群的结构和作用 redis 哨兵模式虽然提供了 redis⾼可⽤、高并发读的解决方案，但是在海量数据应用场景下，仍然存在海量数据存储问题和高并发写的问题。当只有⼀个 Master 对外提供服务时，如果数据量特别⼤，内存占⽤问题严重，数据的高并 ......

1. 下载 路径：https://dev.mysql.com/downloads/ 2. 上传解压 # tar -xvf MySQL-5.6.26-1.linux_glibc2.5.x86_64.rpm-bundle.tar 3. 安装 # rpm -ivh MySQL-server-5.6.26- ......

1. 哨兵模式 1.1 哨兵模式的结构和作用 哨兵（Sentinel）是 Redis 官方提供的一种高可用方案，它可以监控多个 Redis 服务实例的运行情况。本质上，Sentinel 也是一个运行在特殊模式下的 Redis 服务器。主从复制模式下，一般会配置多个 Sentinel 节点，通过互相协 ......

1. 主从复制 1.1 什么是主从复制 主从复制，是将多台数据库服务器分为主节点（master）和从节点（slaver），主节点数据更新后会根据配置和策略，自动同步到从节点上，从而保证主从节点中存有相同的数据。 1.2 主从复制的作用 有了主从复制,数据可以有多份副本，这就带来了很多好处： （1）提 ......

1、Docker 容器的数据卷 Docker 是将系统与运行的环境打包成容器来运行，当容器删除后，容器里的系统自然也就没有了。但是，在实际的项目中，希望 Docker 容器产生的数据能够持久化，同时容器之间也能够共享数据。Docker 提供了数据卷技术来实现这些需求。 数据卷就是目录或文件，存在于一 ......

1、Redis 持久化 1.1 什么是持久化 持久化可以理解为数据的永久存储，就是将数据存储到一个不会丢失的地方。如果把数据放在内存中，电脑关闭或重启数据就会丢失，所以放在内存中的数据不是持久化的，而放在磁盘就是一种持久化。 1.2 Redis 的持久化 Redis 的数据存储在内存中，内存是瞬时的 ......

1、Redis 事务机制 1.1 事务的定义 事务是指一系列操作数据库的步骤，这一系列的操作步骤，要么完全地执行，要么完全地不执行。 1.2 Redis 的事务 同样，Redis 中的事务也是一组命令的集合，至少是两个或两个以上的命令。Redis事务是一个单独的隔离操作，事务中的所有命令都会序列化、 ......