集群 水平cluster redis
分布式集群与多线程高并发
后台数据的处理语言有很多，Java 是对前端采集的数据的一种比较常见的开发语言。互联网移动客户端的用户量特别大，大量的数据处理需求应运而生。可移动嵌入式设备的表现形式 很多，如 PC 端，手机移动端，智能手表，Google 眼镜等。Server2client 的互联网开发模式比较常见，有一种新的数据 ......
基于docker容器，搭建hadoop+spark+hive+hbase+Zookeeper Scala集群
1.安装Docker和Docker Compose 2.下载镜像 docker pull bde2020/hadoop-base:2.0.0-hadoop3.2.1-java8 docker pull bde2020/hadoop-namenode:2.0.0-hadoop3.2.1-java8 d ......
ETCD集群key超出200w给etcd压力太大，导致集群调度器延迟
背景： 业务在做测试的时候，突然集群不可用了，无法做出变更了，找到我们平台侧，经过排查，发现controller-manager调度器出现问题，经过查看，调度器不可使用， 处理 方案： 删除etcd集群的key 查询etcd集群中的key的数量： #etcd的命令行 etcdctl="/opt/et ......
简化版本的redis配置文件
# bind 192.168.1.100 10.0.0.1 # bind 127.0.0.1 ::1 #bind 127.0.0.1 protected-mode no port 6379 tcp-backlog 511 requirepass root timeout 0 tcp-keepaliv ......
利用kubeadm创建高可用集群
前言 本页的高可用是控制平面组件的高可用部署，同时还分为2种情况：堆叠etcd和外部etcd。使用kubeadm部署多master节点很方便，大体是3个步骤：使用init参数初始化好第一个master节点，然后其余的master节点使用join命令加入到master集群中，形成一个高可用的maste ......
使用kubeadm创建集群
前言 k8s集群在Node节点数量少的情况下，逐台去维护是可行的，但是如果Node节点数量多的情况下，再去想着我大不了一台一台来维护可能就不现实了。而且k8s的每个版本都差不多只有14个月的支持时间。可能还没稳定下来，一个新的版本已经更新了。这样一来版本升级的工作就变的会比较多一些。为了能够保证k8 ......
大规模集群的注意事项
简介 一提到大规模这三个字，就联想到数据中心机房中一排排的物理服务器，在早期还是购买物理机找托管机房的年代，很多时间都在机房中维护服务器，那声音吵得耳朵疼，现在的运维工程师幸福多了。 注意事项 集群峰值 k8s1.28版本单个集群支持5000个工作节点，每个节点Pod数量不超过110，pod总数不超 ......
redis 配置文件 - 启动redis 使用文件配置启动
# Redis configuration file example. # # Note that in order to read the configuration file, Redis must be # started with the file path as first argumen ......
R : 使用正则表达式提取属水平的名称
setwd("C:\\Users\\Administrator\\Desktop") # 读取txt文件 microbial_names <- readLines("your_input_file.txt") # 使用正则表达式提取属水平的名称 genus_names <- sapply(micro ......
K8S集群搭建
集群搭建的几种方式 kubeadm 通过kubeadm init、kubeadm join快速部署集群。 二进制包 下载官方编译好的二进制文件，手动部署，比较麻烦。。 第三方工具、web端 第三方提供的部署工具、web部署端。 kubeadm部署k8s集群 实验环境 master节点： IP：10. ......
MongoDB分片+副本集高可用集群的启停步骤
■■ 集群启动步骤 1、先启动各节点的 config server mongod -f ${MongoDir}/conf/config.conf 2、再启动各节点的 shard server mongod -f ${MongoDir}/conf/shard1.conf 3、再启动各节点的 mongo ......
掌握 Kubernetes 故障排除：有效维护集群的最佳实践和工具
Kubernetes 是一款管理容器化应用程序的强大工具。然而，与任何复杂的系统一样，使用它时也可能出错。当问题出现时， 掌握有效的故障排除技术和工具非常重要。 本文将介绍以下步骤，助您了解事件收集的入门知识： 检索最新事件 使用 Pod 模拟问题 在位于 PV 的 Pod 中存储事件 检索最新事件 ......
两台实体机器4个虚拟机节点的Hadoop集群搭建（Ubuntu版）
安装Ubuntu Linux元信息 两台机器，每台机器两台Ubuntu Ubuntu版本：ubuntu-22.04.3-desktop-amd64.iso 处理器数量2，每个处理器的核心数量2，总处理器核心数量4 单个虚拟机内存8192MB（8G），最大磁盘大小30G 参考链接 清华大学开源软件镜像 ......
监听redis过期的key
package com.ccxgf.configuration; import com.fasterxml.jackson.annotation.JsonAutoDetect;import com.fasterxml.jackson.annotation.PropertyAccessor;impor ......
Redis 集群
sentinel模式基本可以满足一般生产的需求，具备高可用性。但是当数据量过大到一台服务器存放不下的情况时，主从模式或sentinel模式就不能满足需求了，这个时候需要对存储的数据进行分片，将数据存储到多个Redis实例中。cluster模式的出现就是为了解决单机Redis容量有限的问题，将Redi ......
Redis 哨兵模式
哨兵是一个分布式系统，你可以在一个架构中运行多个哨兵进程，这些进程使用流言协议来接收关于Master主服务器是否下线的信息，并使用投票协议来决定是否执行自动故障迁移，以及选择哪个Slave作为新的Master。 一、哨兵模式概述 1.1、为什么要启动哨兵模式 当我们的主服务器宕机后，要手动的去切换主 ......
Redis 主从复制
Redis有两种不同的持久化方式，Redis服务器通过持久化，把Redis内存中持久化到硬盘当中，当Redis宕机时，我们重启Redis服务器时，可以由RDB文件或AOF文件恢复内存中的数据。 不过持久化后的数据仍然只在一台机器上，因此当硬件发生故障时，比如主板或CPU坏了，这时候无法重启服务器，有 ......
Redis 数据持久化
Redis支持两种数据持久化方式：RDB方式和AOF方式。前者会根据配置的规则定时将内存中的数据持久化到硬盘上，后者则是在每次执行写命令之后将命令记录下来。两种持久化方式可以单独使用，但是通常会将两者结合使用。 一、持久化 1.1、什么是持久化 持久化功能有效地避免因进程退出造成的数据丢失问题，当下 ......
Redis服务器部署
Redis（全称：Remote Dictionary Server 远程字典服务）是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。从2010年3月15日起，Redis的开发工作由VMware主持。从2013年5月开始，R ......
Redis 命令操作
一、连接命令 ping 通常用于测试与服务器的连接是否仍然生效，或者用于测量延迟值。 如果连接正常就返回一个PONG ，否则返回一个连接错误。 127.0.0.1:6379> ping PONG echo m 打印一个特定的信息 m ，测试时使用。 127.0.0.1:6379> echo 'hel ......
如何保障MySQL和Redis的数据一致性？
先抛一下结论：在满足实时性的条件下，不存在两者完全保存一致的方案，只有最终一致性方案。根据网上的众多解决方案，总结出 6 种，直接看目录： 不好的方案 1、先写 MySQL，再写 Redis 如图所示： 这是一副时序图，描述请求的先后调用顺序； 橘黄色的线是请求 A，黑色的线是请求 B； 橘黄色的文 ......
laravel:访问redis(10.27.0)
一，相关文档: https://learnku.com/docs/laravel/10.x/redis/14887 二，php代码 1,配置.env 使用默认的设置： REDIS_HOST=127.0.0.1 REDIS_PASSWORD=null REDIS_PORT=6379 2,control ......
kubeadm部署k8s集群
一、系统环境准备 1、系统环境说明 系统环境说明 系统 角色 IP 组件 K8s版本 centos7.9 kubeadm-master1 192.168.100.41 docker,kubeadm,kubelet,kubectl v1.20.0 centos7.9 kubeadm-master1 1 ......
hadoop集群 大数据项目实战_电信用户行为分析_day04
进行HIVE环境配置 1.上传相关的包 2.对上传的包进行下载和创建软连接 3.配置相关的文件 4.分别发送给其他机子 假设你需要在所有机器执行同一个指令，则你就需要相关设置 5.在hive的onf文件中创建hive-site.xml进行相关设置 ```xml<configuration> <-- ......
redis其他操作、redis管道、django中使用redis、django缓存、celery介绍、补充单例
redis其他操作 ''' delete(*names) exists(name) keys(pattern='*') expire(name ,time) rename(src, dst) move(name, db)) randomkey() type(name) ''' # redis的key ......
Redis学习之消息队列
消息队列 JDK阻塞队列可能存在哪些问题？ 服务器宕机，内存队列中的订单信息全部丢失 线程处理错误，已取出单个订单信息，但没有入库 受单JVM内存限制 所以，我们需要一个独立的队列来存管订单信息，也就是消息队列。 介绍 存放消息的队列。一种开发中常用的中间件 最简单的消息队列模型包括3个角色： 消息 ......
CSS水平垂直居中
使用flex布局 <div class="content"> <div class="box"> </div> </div> .content{ height: 100vh; display: flex; justify-content: center; align-items: center; } ......
Redis - 1（ 安装 + 快速了解 ）
Redis 安装 Redis 官网建议使用 Linux 进行部署，未提供 windows 版本的 Redis，但微软开发和维护着 Windows64 版本的 Redis。- Windows64 版本的 Redis 下载地址：redis点击下载 ( github.com ) 一路下载 下载后里面的 r ......
ErrorReply: ERR wrong number of arguments node redis 连接问题解决
今天在测试kvrocks 与socket.io 集成的时候出现了此问题，刚好记录下 原始连接配置 const pubClient = createClient({ url:"redis://dalongdemo@localhost:6666/0"}); 问题修改 const pubClient = ......
部署redis-cluster集群
参考： https://www.cnblogs.com/paul8339/p/11987345.html https://mikechen.cc/31360.html https://zhuanlan.zhihu.com/p/637366705 本文使用一台虚拟机部署6个不同端口的redis实例 1 ......