缓存 天花 分布式 集群
Elasticsearch专栏 集群分片管理
Elasticsearch 集群分片管理 简介 Elasticsearch 是一个分布式搜索和分析引擎，数据在集群中被分割成多个分片，以实现高性能和可伸缩性。在管理 Elasticsearch 集群时，分片的合理分配和监控是至关重要的。 分片基础知识 主分片（Primary Shard）： 每个索引 ......
Elasticsearch专栏 集群安全认证
Elasticsearch 集群安全认证 简介 Elasticsearch 的安全认证功能用于确保只有经过授权的用户才能访问集群和执行特定操作。这有助于保护集群中的数据和资源。 安全认证组件 1. X-Pack Security 插件 X-Pack 是 Elastic 提供的官方插件，包含了 Ela ......
TDSQL(MySQL版本)集群增加hdfs节点
一、需求：1、在原有集群上面增加3个hdfs节点，替换掉之前的hdfs；2、将替换掉的3台hdfs中2台 变成proxy节点，增加到第一套集群 二、参考文档：腾讯云数据库 TDSQL MySQL版_V10.3.19.x.x_部署指南（注意不要使用其中的nokey.sh脚本） 三、操作步骤：1、启动a ......
mariadb集群切换成mysql5.7集群
mariadb集群安装 yum list | grep galera yum install galera mariadb-server-galera rsync systemctl start mariadb 仓库源查看可以安装的包 添加yum源 [galera] name = Galera ba ......
分布式锁
分布式锁 在多线程环境中，如果多个线程同时访问共享资源（例如商品库存、外卖订单），会发生数据竞争，可能会导致出现脏数据或者系统问题，威胁到程序的正常运行。 为什么需要分布式锁? 举个例子，假设现在有 100 个用户参与某个限时秒杀活动，每位用户限购 1 件商品，且商品的数量只有 3 个。如果不对共享 ......
电脑版微信缓存记录找回好友
工具下载地址 下载地址：https://wwot.lanzouw.com/b0395rbcd 密码:3zp8 工具说明 此工具是通过读取历史缓存数据找回删除的好友，需要你们还是好友的时候，有在这台电脑上登录过，才有可能找回。 使用教程 电脑上登录微信，打开软件点击一键读取，等显示输出读取完成后，点击 ......
elasticsearch集群red恢复损坏的索引
背景 客户磁盘损坏，修复磁盘后，重启机器，发现elasticsearch启动成功，ES状态正常green，但是历史数据都没有加载进，查看ES存储数据目录，发现数据还在。 解决方案 首先，需要确认indices目录下的lucene 索引正常。需要关闭ES（实际操作索引处于close状态也可以）。 # ......
Kubernetes高可用集群二进制部署v1.28.0版本
一、集群环境准备 1.1 主机规划 主机IP地址 主机名 主机配置 主机角色 软件列表 192.168.198.144 k8s-master1 2C4G master kube-apiserver、kube-controller-manager、kube-scheduler、etcd、kubectl ......
修改Zabbix源码实现监控数据同时写入数据库和ES集群
写在开篇 玩过 Zabbix 的朋友都了解，Zabbix 提供了与 Elasticsearch（ES）的集成，允许用户将历史数据存储在 Elasticsearch 中，而无需使用传统数据库。在高监控负载的生产环境中，这种架构带来了多重好处。首先，它有效减轻了数据库的负担，从而提高了整体性能。其次，通 ......
3种常用的缓存读写策略详解
3种常用的缓存读写策略详解 1. Cache Aside Pattern（旁路缓存模式） Cache Aside Pattern 是我们平时使用比较多的一个缓存读写模式，比较适合读请求比较多的场景。 Cache Aside Pattern 中服务端需要同时维系 db 和 cache，并且是以 db ......
Redis 7.0性能大揭秘：如何优化缓存命中率？
Redis 7.0，这货不仅仅是一个简单的缓存工具，它更是一款高性能的数据结构服务器。现在，大家都知道缓存命中率对性能影响特别大，但怎么优化它呢？ 本文，已收录于，我的技术网站 ddkk.com，有大厂完整面经，工作技术，架构师成长之路，等经验分享 1、合理设计键值结构 Redis的数据结构和键的设 ......
太强了！全新一代分布式任务调度与计算框架！
PowerJob（原 OhMyScheduler） —— 全新一代分布式调度与计算框架，能让您轻松完成作业的调度与繁杂任务的分布式计算。 ......
rabbitmq 集群docker玩法
属于一个简单测试玩的，rabbitmq 实际最近几年变化还是挺大的（主要是一些新特性，核心amqp 是一致的） 环境准备 测试一个基于raft 选举的rabbitmq 集群队列 docker-compose version: "3" services: mq: build: ./ container ......
分布式存储ceph——（6）ceph osd故障硬盘更换
故障状态： 实施更换步骤： （1）关闭ceph集群数据迁移： osd硬盘故障，状态变为down。在经过mod osd down out interval 设定的时间间隔后，ceph将其标记为out，并开始进行数据迁移恢复。为了降低ceph进行数据恢复或scrub等操作对性能的影响，可以先将其暂时关闭 ......
Redis 分片集群
1.Redis分片集群 1.1.搭建分片集群 主从和哨兵可以解决高可用、高并发读的问题。但是依然有两个问题没有解决： 海量数据存储问题 高并发写的问题 使用分片集群可以解决上述问题，如图: 分片集群特征： 集群中有多个master，每个master保存不同数据。 每个master都可以有多个slav ......
分布式存储ceph——（5）ceph 添加/删除osd
一、添加osd： 当前ceph集群中有如下osd，现在准备新添加osd： （1）选择一个osd节点，添加好新的硬盘： （2）显示osd节点中的硬盘，并重置新的osd硬盘： 列出节点磁盘：ceph-deploy disk list rab1 擦净节点磁盘：ceph-deploy disk zap ra ......
分布式存储ceph——（4）ceph常用命令
1、查看ceph集群配置信息 1 ceph daemon /var/run/ceph/ceph-mon.$(hostname -s).asok config show 2、在部署节点修改了ceph.conf文件，将新配置推送至全部的ceph节点 1 ceph-deploy --overwrite-c ......
中间件 ZK分布式专题与Dubbo微服务入门 4-1 zookeeper常用命令行操作
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12698 1 重点关注 1.1 常用命令操作 ./zkCli.sh 启动客户端ls / 查看节点信息ls2 / 查看节点状态信息stat / 查看节点状态信息ls2 = ls+statget / ......
中间件 ZK分布式专题与Dubbo微服务入门 3-3 zookeeper的作用体现
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12696 1 重点关注 1.1 zookeeper的作用 master节点选举，主节点挂了以后，从节点就会接手工作，并且保证这个节点是唯一的，这也是所谓首脑模式，从而保证我们的集群是高可用的 统 ......
中间件 ZK分布式专题与Dubbo微服务入门 3-2 zk客户端连接关闭服务端，查看znode
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12695 1 重点关注 1.1 zookeeper客户端操作命令 启动 ./zkCli.sh 停止 Ctrl C 其他命令 启动后 help 查看节点 ls / 2 课程内容 2.1 操作步骤 ......
中间件 ZK分布式专题与Dubbo微服务入门 3-1 zk数据模型介绍
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12694 1 重点关注 1.1 zookeeper数据模型概念介绍 zk的数据模型也可以理解为linux/unix的文件目录 : /usr/local/. 每一个节点都称之为znode，它可以有 ......
AutomaticKeepAliveClientMixin 缓存PageView页面
一旦页面滑出屏幕它就会被销毁 ,实际项目开发中对页面进行缓存是很常见的一个需求，下面我们就看看如何使用AutomaticKeepAliveClientMixin 缓存页面。 注意：使用时一定要注意是否必要，因为对所有列表项都缓存的会导致更多的内存消耗。 class MyPage extends St ......
一图看懂深圳产业分布
龙华区的产业关键词离不开：电子信息、人工智能、生命健康、时尚创意； 坪山区的主导产业为：生命健康、新能源产业、新一代信息技术产业； 光明区牢牢抓紧：智能产业、新材料产业、生命科学产业以及现代服务业等“3+1”产业； 龙岗区则以：ICT、AIoT、电子元器件、绿色能源、生命科学、创意生活等六大产业集群 ......
中间件 ZK分布式专题与Dubbo微服务入门 2-4 zookeeper配置文件介绍，运行zk
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12692 1 重点关注 1.1 最常用的目录 bin 执行启动关闭zookeeper命令 conifg 进行配置文件配置 recipes 案例代码 docs 文档参考 2 课程内容 2.1 zo ......
Redis - (7) 分片集群
前言 哨兵集群由于自身存在的问题，因此出现了分片集群。 分片集群 （1）集群中有多个master，每个master保存不同的数据。【可以解决数据海亮的问题】 （2）每个master也可以有多个slave节点。 （3）master之间可以互相ping监测彼此的健康状态【即master自己之间实现了哨兵 ......
集群渲染是？渲染农场是？两者与云渲染关联是什么
在数字化浪潮不断推进的当下，渲染技术在多个行业中发挥着至关重要的作用，尤其体现在电影制作、建筑可视化以及电子游戏开发等领域。在众多渲染技术中，集群渲染、渲染农场以及云渲染特别受到业界的重视。本文旨在阐述这些概念的含义以及它们之间的相互联系。 一、集群渲染的概念与应用 集群渲染是借助计算机网络的力量， ......
分布式存储ceph——（3）openstack对接ceph存储后端
ceph对接openstack环境 一、使用rbd方式提供存储如下数据： （1）image：保存glanc中的image； （2）volume存储：保存cinder的volume；保存创建虚拟机时选择创建新卷； （3）vms的存储：保存创建虚拟机时不选择创建新卷； 二、实施步骤： （1）客户端也要有 ......
分布式日志追踪ID实战 | 京东物流技术团队
本文通过介绍分布式应用下各个场景的全局日志ID透传思路，以及介绍分布式日志追踪ID简单实现原理和实战效果，从而达到通过提高日志查询排查问题的效率。 背景 开发排查系统问题用得最多的手段就是查看系统日志，相信不少人都值过班当过小秘吧：给下接口和出入参吧，麻烦看看日志里的有没有异常信息啊等等，但是在并发 ......
Ubuntu 22.04 部署 ceph quincy 集群和 K8S 1.24.1对接
环境 IP 主机名 172.16.16.77 test1 172.16.16.78 test2 172.16.16.79 test3 ceph版本：quincy 主机系统：ubuntu 22.04 安装集成软件 3台机器上都要执行 vi /etc/hosts # 最后添加 172.16.16.77 ......