集群 单机docker redis
docker-compose 运行 redis
redis.conf logfile /data/redis/logs/redis.log dir /data/redis/data bind 0.0.0.0 requirepass 123456 UID # docker run --rm -it redis:7.0.10 id redis uid ......
Redis之持久化讲解
1 Redis持久化 Redis数据是存储在内存中的，但是我们都知道内存的数据变化是很快的，也容易发生丢失，为了保证Redis数据不丢失，那就要把数据从内存存储到磁盘上，以便在服务器重启后还能够从磁盘中恢复原有数据，这就是Redis的数据持久化。 Redis数据持久化有三种方式： AOF 日志（Ap ......
redis集群，模块启动报错：PoolException: Returned connection io.lettuce.core.cluster.StatefulRedisClusterConnectionImpl@49bd0985 was either previously returned or does not belong to this connection provider
redis 3主3从的配置 启动正常，客户端命令使用正常，突然今天开发测试环境 有些模块报错了： org.springframework.data.redis.connection.PoolException: Returned connection io.lettuce.core.cluster. ......
docker搭建无鱼工时系统
1.安装docker 安装docker依赖包 命令： yum install -y yum-utils device-mapper-persistent-data lvm2 设置阿里云镜像源 命令： yum-config-manager --add-repo https://mirrors.aliy ......
docker部署jumpserver
关闭selinux [root@centos7 ~]#setenforce 0 [root@centos7 ~]#systemctl stop firewalld [root@centos7 ~]#iptables -F 安装docker源 [root@centos7 ~]#yum -y insta ......
Centos7安装docker
1、查看系统版本，系统内核3.10以上并卸载旧版本。 yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \ docker ......
Docker Something went wrong
异常信息展示： Something went wrong Creating "rootNode" subnodes: constructing "BackendServices" in "rootNode".doing migrations: reading actual settings: inv ......
flask+docker部署实战
开发了一个基于flask的小项目，为了我跟随潮流使用docker进行部署到服务器 1. 先写一个dockerFile，放在项目根目录下示例如下 FROM python:3.9COPY . /appWORKDIR ./appRUN pip install -i https://pypi.douban. ......
学习笔记292—docker api是什么
docker api指的是docker的应用程序接口，是软件系统不同组成部分衔接的约定，docker主要有三大对外api：1、Docker Registry API；2、Docker Hub API；3、Docker Remote API。 本教程操作环境：linux5.9.8系统、docker-1 ......
Ubuntu 20.04 安装ClickHouse集群
Ubuntu 20.04 安装ClickHouse集群 引言 因为笔者最近一直想实现一个自己的APM服务端，但是看了很多APM服务端系统没有使用.Net Core来写的，都是采用Java或者Go，笔者是写C#的，但是笔者认为.Net Core的性能在现在对比Go和Java很有优势，所以笔者才有想法使 ......
[FAQ] 没有docker用户组，怎么让普通用户有权限操作docker
如果没有docker用户组，可以通过以下步骤让普通用户有权限操作docker： 创建一个名为docker的用户组： sudo groupadd docker 将当前用户添加到docker用户组中：sudo usermod -aG docker $USER 重新登录以使更改生效。 验证用户是否已经添加 ......
群晖的docker设置MySQL从库功能
群晖的docker设置MySQL从库功能 主库与正常设置无区别，新建账号并授权拷贝binlog即可，注意密码强度，最好不要给任意IP访问权限；数据安全无小事 以镜像为8.0.30为例 在高级设置中添加环境变量即可 MYSQL_ROOT_PASSWORD=e0a1021570daa600 MYSQL_ ......
oracle data guard集群之参数文件详解
############# 1.log_archive_config 该参数必须显式声明主备库的db_unique_name，且主库的db_unique_name永远放在第一位。其他备库的跟随其后。该参数适用于：主库、物理备库、逻辑备库、快照备库。 log_archive_config = 'dg_ ......
通过 docker-compose 快速部署 Hive 详细教程
一、概述 其实通过 docker-compose 部署 hive 是在继上篇文章 Hadoop 部署的基础之上叠加的，Hive 做为最常用的数仓服务，所以是有必要进行集成的，感兴趣的小伙伴请认真阅读我以下内容，通过 docker-compose 部署的服务主要是用最少的资源和时间成本快速部署服务，方 ......
k8s-外置ETCD集群部署
如何把ETCD的数据库备份，以及还原的操作方法（待更新中） 地址： Etcd 是一个分布式键值存储系统，Kubernetes使用Etcd进行数据存储，所以先准备一个Etcd数据库，为解决Etcd单点故障，应采用集群方式部署，这里使用3台组建集群，可容忍1台机器故障。为了节省机器，这里把3个ETCD实 ......
Redis内存容量评估
业务侧申请redis服务器资源时，需要事先对redis容量做一个大致评估，之前的容量评估公式基本只是简单的 （key长度 value长度）* key个数，误差较大，后期经常需要进行缩扩容调整，因此提出一个较精确的redis容量评估模型就显得很有必要。 先来查看一个命令： info memory us ......
MongoDB 与 Redis 的比较
MongoDB 和 Redis 都是流行的 NoSQL 数据库系统，但它们的应用场景和特点不同，主要体现在以下几个方面： 1.数据类型：MongoDB 是面向文档的数据库系统，支持复杂的数据类型，如嵌套文档、数组等；Redis 则是一个基于内存的键值数据库系统，支持字符串、哈希表、列表、集合等简单数 ......
ZooKeeper数据和集群特点，ZAB协议和选主过程解析
前言 本文讲述 ZooKeeper 集群架构特点、数据结构、事务ID、选主和ZAB协议具体执行过程。 服务保证 ZooKeeper 非常快速且非常简单。由于它的目标是构建更复杂的服务（如同步）的基础，因此它提供了一组保证： 【顺序一致性】来自客户端的更新将按发送顺序执行，因为只有唯一的主节点负责写请 ......
Docker 查看Image镜像的Dockerfile方法
Dokcer中使用的Image镜像可能别人写好，我们下载来直接使用，但有些情况可能不能满足我们的需求，那就需要修改镜像，一般可以通过在容器中修改，之后在生成镜像，但有时则需要通过写Dockerfile来重新生成。本文主要介绍Docker中查看Image镜像的Dockerfile的方法。 原文地址：D ......
Redis 在消息队列中的应用
1.Redis 的 List 数据类型 1.1 List 数据类型的特点 List 列表是 Redis 提供的一种重要的数据类型。它是由若干个字符串元素组成的集合，并且每个字符串元素都是按照插入顺序排序的。也可以将列表理解为多个字符串组成的一个集合对象，并按照链表（Link List）的插入顺序排序 ......
Hadoop搭建（集群）
HADOOP配置文件 | | core-site.xml | | | | | hadoop.tmp.dir | /opt/hadoop/tmp | | fs.defaultFS | hdfs://master:9000 | | | hdfs-site.xml | | | | | hadoop.nam ......
Springboot+ElasticJob-Lite实现集群任务调度
前言 ElasticJob-Lite是集群环境下应用（比如SpringCloud微服务）任务调度的解决方案。 集群部署的时候，一个定时任务会有多个进程执行，如果不进行任何处理，会导致任务触发的时候每个进程重复执行一次。 解决办法有两种：一种是加锁，保证同时只有一个进程执行任务，比如用分布式锁，或者用 ......
redis主从同步、哨兵自动故障迁移具体过程解析
前言 本问阐述 Redis 主从同步、哨兵监控和故障迁移的过程，并通过各个服务日志加以验证。 准备工作 主从和哨兵安装见 安装过程。 为了方便通过日志观察同步过程，你可以在每个 Redis 和 Sentinel 配置文件中修改下面参数，实现前台运行并将日志输出到控制台。 # 这两个配置是为了实现前台 ......
RedisTemplate Pipeline 封装和使用，优化Redis操作
前言 公司游戏项目服务端运行过程中，依赖 Redis 保存游戏过程数据。与客户端一次交互会对 Redis 进行大量的操作，在内网开发环境下测试，一次操作开销在 1-2 ms，建立连接和网络开销累积在一起大大降低了响应速度，这种场景下可以使用 Redis Pipeline 进行优化。 Redis Pi ......
Redis各种数据分片方式应用场景以及优缺点
前言 数据分片是指将数据按某种方式存储到不同的服务上来解决单机服务容量不足的问题。 本文围绕 Redis 讲述逻辑拆分、随机分配、哈希取模、一致性哈希等分片算法原理和使用场景。并在此基础上对比客户端分片、代理(Proxy) 和 Redis Cluster 各自的优缺点。 客户端分片 三种普通方式 逻 ......
Docker 容器：数据持久化
Docker 容器：数据持久化 每当从镜像创建容器时，它都会创建一个新容器，除了镜像数据之外没有任何数据 意味着如果在提交更改之前删除容器，我们将丢失数据 Docker 应该存在一种将数据的文件系统与容器的文件系统分开的技术 每当创建容器时，也会创建一个文件系统【这是默认的 Linux 文件系统】 ......
Redis 在排行榜中的应用
1.Redis 的 Sorted Set 数据类型 1.1 Sorted Set 数据类型的特点 Sorted Set 有序集合是 Redis 提供的一种重要的数据类型。它是由不重复且有序的字符串元素组成的，而且每个元素都会关联一个 double 类型的分数，通过该分数来为集合中的成员进行从小到大的 ......
Redis持久化RDB和AOF原理解析、使用和优缺点对比
前言 本文讲述 Redis 两种持久化方式 RDB 和 AOF 优缺点以及原理。 为何需要持久化？ Redis 是基于内存操作的，进程终止、服务器宕机后内存数据会丢失，但是在很多使用场景中我们希望数据不丢失，服务重启之后数据还能恢复到停机前的状态，特别是使用 Redis 做数据库的情况。 Redis ......
Redis布隆过滤器的原理和安装使用
前言 本文讲述布隆过滤器 (RedisBloom) 的基本原理和安装使用。 RedisBloom是什么？ RedisBloom 是 Redis 中过滤器模块，可以用来判断值是否存在，常用来解决缓存穿透问题。 查询数据时，先用 RedisBloom 判断数据是否存在，不存在则直接返回，存在则从缓存 / ......
docker与k8s的区别
docker：开源的应用容器引擎，允许开发人员将其应用和依赖打包成可移植的镜像，然后发布到任何流行的linux或windows机器上，也能实现虚拟化。 kubernetes：谷歌开发的容器集群管理系统。在docker技术的基础上，为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功 ......