主从 副本 集群mongodb
集群模式
一、Redis Cluster 1、Redis集群方案的演变 大规模数据存储系统都会面临的一个问题就是如何横向拓展。 当你的数据集越来越大,一主多从的模式已经无法支撑这么大量的数据存储,于是你首先考虑将多个主从模式结合在一起对外提供服务,但是这里有两个问题就是如何实现数据分片的逻辑和在哪里实现这部分 ......
MySQL集群
一、MySQL集群方案 1、常见MySQL集群方案 1.1、Replication 特点: 速度快 弱一致性 适用于低价值数据: 日志 新闻 帖子 1.2、PXC 特点: 速度慢 强一致性 适用于高价值数据: 订单 账户 财务 1.2.1、PXC原理 全称(Percona XtraDB Cluste ......
Redis 主从集群搭建并使用 RedisTemplate 实现读写分离
单机版的 Redis 能够承载并发访问的能力有限,对于绝大多数的系统而言,都是读多写少,系统之所以宕机,一般都是因为并发读操作太高导致的宕机,因此搭建 Redis 主从集群,实现读写分离,是一种有效的提高并发访问能力的方案。 本篇博客介绍在一台虚拟机上,使用 docker-compose 模拟搭建一 ......
prometheus监控k8s集群信息(通过kube-state-metrics)
prometheus监控k8s集群信息(通过kube-state-metrics) 因为通过k8s集群中kubelet和apiserver自带的一些接口来获取的信息太少,当然如果只需要监控POD的cpu、内存等信息,可能使用kubelet也够了,但是更多的信息还需要其他的工具,这里使用kube-st ......
Kubernetes集群存储解决方案GlusterFS
1、工具简介 1.1、GlusterFS 是一个开源的分布式文件系统 具有强大的横向扩展能力 通过扩展能够支持数PB存储容量和处理数千客户端 将物理分布的存储资源聚集在一起,使用单一全局命名空间来管理数据 1.2、Heketi 是一个基于RESTful API的GlusterFS卷管理框架 可以方便 ......
Linux系统下kafka集群安装部署
Linux系统下kafka集群安装部署 Linux系统下kafka集群安装部署 | 系统运维 (osyunwei.com) 2023年05月01日 ⁄ kafka ⁄ 暂无评论 ⁄ 被围观 1,254次+ Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。 操 ......
主从复制
一、什么是主从复制 1、简介 在分布式环境中,数据副本 _**(Replica) **_和复制 _**(Replication)**__** **_作为提升系统可用性和读写性能的有效手段被大量应用系统设计中,Redis 也不例外。 Redis 作为单机数据库使用时,适用常见有限且存在单点宕机问题,无 ......
ES集群架构
一、集群节点 一个ES集群可以有多个节点构成 一个节点就是一个ES服务实例,通过配置集群名称cluster.name加入集群 那么节点是如何通过配置相同的集群名称加入集群的呢?要搞明白这个问题,我们必须先搞清楚ES集群中节点的角色。 ES中节点有角色的区分的,通过配置文件conf/elasticse ......
集群模式
一、Redis Cluster 1、Redis集群方案的演变 大规模数据存储系统都会面临的一个问题就是如何横向拓展。 当你的数据集越来越大,一主多从的模式已经无法支撑这么大量的数据存储,于是你首先考虑将多个主从模式结合在一起对外提供服务,但是这里有两个问题就是如何实现数据分片的逻辑和在哪里实现这部分 ......
MySQL集群
一、MySQL集群方案 1、常见MySQL集群方案 1.1、Replication 特点: 速度快 弱一致性 适用于低价值数据: 日志 新闻 帖子 1.2、PXC 特点: 速度慢 强一致性 适用于高价值数据: 订单 账户 财务 1.2.1、PXC原理 全称(Percona XtraDB Cluste ......
【Windows】微软自带的系统阴影副本(VSS)
学习就是在生活的方方面面! 在前两天和我的老哥的一次闲聊中,老哥介绍了Windows系统的NTFS磁盘自带的,类似于快照的系统,VSS 于是我就开始了学习! 1.什么是VSS VSS是微软公司的一种技术,全称为Volume Shadow Copy Service(卷影复制服务)。VSS是Window ......
MySQL主从搭建入门
MySQL主从搭建入门 原创 代码新手 代码新手 2023-10-28 17:32 发表于上海 MySQL之间数据复制的基础是二进制日志文件(binary log file)。一台MySQL数据库一旦启用二进制日志后,其作为master,它的数据库中所有操作都会以“事件”的方式记录在二进制日志中,其 ......
day16监控体系部署管理-K8S集群层面监控-基于Prometheus的HPA自动伸缩 (7.1-7.2)
一、打造基于Prometheus的全方位监控平台 1.1 前言 官网:https://prometheus.io/docs/prometheus/latest/getting_started/ 灵活的时间序列数据库 定制各式各样的监控规则 Prometheus的开发人员和用户社区非常活跃 独立的开源 ......
hadoop集群常见错误
虚拟及没有启动任何服务器查看jps会显示jps,如果没有显示任何东西 [root@slave2 ~]# jps 9647 Jps 解决方案 # 进入/tmp查看 [root@slave1 dfs]# cd /tmp [root@slave1 tmp]# ll 总用量 48 drwxr-xr-x. 2 ......
Kubernetes管理应用程序、服务常用命令、集群监视
1、如何使用Kubernetes管理应用程序 1.1 查看集群信息: kubectl cluster-info: 显示集群信息。 kubectl config view: 显示当前kubectl配置信息。 1.2 查看资源状态: kubectl get pods: 查看所有Pod的状态。 kubec ......
什么是集群,什么是负载均衡
tags: 集群 负载均衡 author: zhanglei data: 2023-11-29 什么是集群?什么又是负载均衡?你说得清楚吗? - 知乎 (zhihu.com) ......
Linux服务器快速安装MongoDB-5.0
最近开始体验FastGPT开源知识库问答系统,用他们试着开发调试一些小助手。这中间需要使用到MongoDB,就在自己服务器上进行了安装,特此记录下。 环境说明:阿里云ECS,2核8G,X86架构,CentOS 7.9操作系统。 选择版本 1.打开MongoDB社区版下载页面,选择我们想要安装的版本、 ......
mongodb避坑
1.首先MongoDB6.0及以上的版本是不带mongo shell的,所以 要向用需要自己去下载,然后将压缩包解压到桌面然后复制过去 一定是复制过去,要不然mongo的管理员权限不让你复制, 完成之后在这个文件加下的bin中双击后回车就可进入shell界面。 2.然后是API操作,这里用的是mav ......
k8s集群安装
在三台机器上都执行如下命令操作: 1、关闭防火墙 systemctl stop firewalld systemctl disable firewalld 2、关闭 selinux sed -i 's/enforceing/disabled/' /etc/selinux/config # 永久关闭 ......
helm部署Kafka集群
1.准备文件 1.1.创建命令空间 kubectl create ns kafka 1.1.helm包拉取本地 # 添加bitnami仓库 helm repo add bitnami https://charts.bitnami.com/bitnami # 查询chart helm search r ......
kubeadm使用docker搭建k8s 1.27.2高可用集群
系统基础优化 #系统版本:Ubuntu22.04 #docker版本:20.10 #kubeadm版本:1.27.2 root@k8s-master1:~# cat /etc/sysctl.conf ################################################## ......
C++聊天集群服务器7
一、引入redis队列 在上一篇博客里我们已经为服务器配置了基于nginx的tcp负载均衡,提高了服务器的并发量,但是相应的之前也会存在一个问题,那就是多个客户端可能连接在不同的服务器,那这几个客户端如何通信呢?这就需要引入这次的内容:redis中间件,我们通过redis来作为一个中间消息转发者 ......
SQL Server 2019 非域&非集群环境创建Always On “只读扩展”
SQLServer 2019开始支持“read-scale for an Always On availability group”,中文翻译的很别扭,是"读取缩放",繁体版翻译为“读取级别”,其特点不依赖于windows的cluster集群以及域,简化了搭建操作步骤和前置条件,与传统的availa ......
Storm 集群的搭建及其Java编程进行简单统计计算
一、Storm集群构建 编写storm 与 zookeeper的yml文件 storm yml文件的编写 具体如下: version: '2' services: zookeeper1: image: registry.aliyuncs.com/denverdino/zookeeper:3.4.8 ......
MongoDB中的分布式集群架构
MongoDB 中的分布式集群架构 前言 Replica Set 副本集模式 副本集写和读的特性 Sharding 分片模式 分片的优势 MongoDB 分片的组件 分片键 chunk 是什么 分片的算法 哈希分片 范围分片 总结 参考 MongoDB 中的分布式集群架构 前言 前面我们了解了 Mo ......
Redis集群
集群 由于数据量过大,单个Master复制集难以承担,因此需要对多个复制集进行集群,形成水平扩展每个复制集只负责存储整个数据集 的一部分,这就是Redis的集群,其作用是提供在多个Redis节点间共享数据的程序集。 Redis集群是一个提供在多个Redis节点间共享数据的数据集 Redis集群可以支 ......
MongoDB 7.0 元数据检查
除了分片键分析器之外,元数据检查器(checkMetadataConsistency())也是 DBA 工作中的一项额外工具。 分片集群很好,但同时也是一项复杂的功能,尤其是当我们开始尝试了解它是如何在后台工作以符合一致性等要求时。 对于需要管理分片集群的人来说,很可能会遇到元数据不一致的问题:集合 ......
MongoDB 7.0 动态 WiredTiger tickets
在WiredTiger存储引擎中,WiredTiger tickets提供了并发控制机制。这些tickets分为读tickets和写tickets。当多个操作,比如读和写尝试并发访问数据库,WiredTiger使用tickets来确保这些操作不会冲突,从而保证数据的完整性和性能。WiredTiger ......
MongoDB 7.0 分片键分析助手--analyzeShardKey()
分片键是群集的关键组成部分,因为它决定了数据在分片中的分布。 分片集群的大部分问题都与错误的分片键选择有关;对于一个好的分片键,必须注意以下几点: ·分片键的 cardinality ·分片键值出现的频率 ·潜在分片键值是否单调增长 ·分片查询模式 在老版本中,分片键是不可变的,但现在(+4.4), ......