elasticsearch机制 内存jvm
Day1 - 大规模Elasticsearch集群管理心得（转）
转自：https://elasticsearch.cn/article/110 【携程旅行网 吴晓刚】 ElasticSearch目前在互联网公司主要用于两种应用场景，其一是用于构建业务的搜索功能模块且多是垂直领域的搜索，数据量级一般在千万至数十亿这个级别；其二用于大规模数据的实时OLAP，经典的如 ......
Redis过期Key处理和内存淘汰策略
惰性删除 概述：当访问Key时，才去判断它是否过期，如果过期，直接干掉。这种方式对CPU很友好，但是一个key如果长期不用，一直存在内存里，会造成内存浪费。 set name xxxx 10 get name // 发现name过期了，直接删除 优点：对CPU友好，只会在使用该key时才会进行过期检 ......
浏览器底层原理-工作机制
浏览器工作机制 浏览器是多进程多线程的应用，启动浏览器后，会自动启动多个进程（渲染进程、网络进程,存储服务等），每个进程中又包含多个线程协同工作。 渲染主线程工作方式 在浏览器的诸多进程中，渲染进程承担着最重要的工作。渲染进程中有一个渲染主线程，负责解析HTML、解析CSS、计算样式、布局、处理图层 ......
Rocketmq学习1——Rocketmq架构&消息存储&刷盘机制
系列文章目录和关于我 一丶什么是Rocketmq RocketMQ是一款开源的分布式消息中间件，由阿里巴巴团队最初开发，并于2016年贡献给Apache软件基金会，后成为Apache顶级项目。RocketMQ设计用于处理高并发、高吞吐量的场景，支持丰富的消息交互模式。 以下是RocketMQ的一些关 ......
Jvm Java虚拟机学习
Jvm Java虚拟机学习 内存模型 先由类装载子系统 把 class 文件装载到运行时数据区(.java ->.class) 运行时数据区包括 (堆,栈(线程),本地方法栈（运行 native修饰的方法时 的数据区 ）,方法区元空间（常量+静态变量+类信息 such as ：静态对象user的引用 ......
中间件 ZK分布式专题与Dubbo微服务入门 4-4 理解watcher机制
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12700 1 重点关注 1.1 理解watcher机制 针对每个节点的操作，都会有一个监督者 wathcer 当监控的某个对象 ( znode) 发生了变化，则触发watcher事件 zk中的w ......
内存管理
内存管理 变量：接受变量值 描述状态 name='xy' print(name) height=170 xy 引用计数 name='XY' #引用计数为1， name2=name #XY引用计数为2 name1='XY' del name #XY引用计数为1 ......
一文搞定JVM字节码
公众号《鲁大猿》，寻精品资料，帮你构建Java全栈知识体系 www.jiagoujishu.cn （架构技术.cn） 多语言编译为字节码在JVM运行 计算机是不能直接运行java代码的，必须要先运行java虚拟机，再由java虚拟机运行编译后的java代码。这个编译后的java代码，就是本文要介绍的 ......
elasticsearch oom问题分析
背景 线上发现elasticsearch集群状态red，并且有个es节点jvm内存使用不断升高，直到gc后依然内存不够使用，服务停止。查看日志，elasticsearch出现OOM报错。 [2023-12-06T08:21:26,706][ERROR][o.e.b.ElasticsearchUnca ......
Redis内存碎片
Redis内存碎片（不会影响 Redis 性能，但会增加内存消耗） 1. 什么是内存碎片？ 你可以将内存碎片简单地理解为那些不可用的空闲内存 举个例子：操作系统为你分配了 32 字节的连续内存空间，而你存储数据实际只需要使用 24 字节内存空间，那这多余出来的 8 字节内存空间如果后续没办法再被分配 ......
Elasticsearch专栏 集群管理
Elasticsearch 集群管理 简介 Elasticsearch 是一个开源的分布式搜索和分析引擎，用于处理大规模的结构化和非结构化数据。集群管理是确保 Elasticsearch 在生产环境中高效运行的关键任务之一。 集群基础知识 节点（Nodes）： Elasticsearch 集群由一个 ......
Elasticsearch专栏 基础知识
Elasticsearch 基础知识 1. 什么是 Elasticsearch？ Elasticsearch 是一个开源、分布式、实时搜索和分析引擎，建立在 Apache Lucene 基础之上。它提供了一个强大的 RESTful API，用于进行复杂的搜索和分析操作。 2. 核心概念 2.1 节点 ......
Elasticsearch专栏 集群分片管理
Elasticsearch 集群分片管理 简介 Elasticsearch 是一个分布式搜索和分析引擎，数据在集群中被分割成多个分片，以实现高性能和可伸缩性。在管理 Elasticsearch 集群时，分片的合理分配和监控是至关重要的。 分片基础知识 主分片（Primary Shard）： 每个索引 ......
Elasticsearch专栏 集群安全认证
Elasticsearch 集群安全认证 简介 Elasticsearch 的安全认证功能用于确保只有经过授权的用户才能访问集群和执行特定操作。这有助于保护集群中的数据和资源。 安全认证组件 1. X-Pack Security 插件 X-Pack 是 Elastic 提供的官方插件，包含了 Ela ......
直播系统源码，利用重试机制保证服务稳定性
场景 在直播系统源码中有些服务依赖第三方服务或者其他服务，但有时第三方服务偶发性出现问题并且会快速的恢复，而直播系统源码可能因为这些偶发性出现问题。所以无法保证以来服务的可靠性，但是我们可以通过其他的方式来保证我们的服务是稳定的，可靠的。重试机制可以协助我们构建健壮的直播系统源码服务。比如调用第三方 ......
直播平台制作，重试机制和死信队列的合理运用
在直播平台制作中，如何实现消息消费失败后重试至多三次，仍失败则加入死信队列？ 一、重试机制 首先说一下RabbitMQ的消息重试机制，顾名思义，就是消息消费失败后进行重试，重试机制的触发条件是消费者显式的抛出异常，如果没有显式地抛出异常或者try catch起来没有手动回滚，事务是不会回滚的。以下代 ......
Redis持久化机制详解
Redis持久化机制详解 1. RDB 持久化 Redis 可以通过创建快照来获得存储在内存里面的数据在 某个时间点 上的副本。Redis 创建快照之后，可以对快照进行备份，可以将快照复制到其他服务器从而创建具有相同数据的服务器副本（Redis 主从结构，主要用来提高 Redis 性能），还可以将快 ......
用RWEverything刷内存spd
最近参与的一个项目，由于主板只支撑ddr3L的内存，需要把ddr3标压内存刷为ddr3L。通过百度找到如下： 不无折腾 篇五：DDR3标压内存改DDR3L低压条保姆级傻瓜教程 于是动手实践了一下，特此记录本过程： 1、找台支持ddr3标压的机子作为刷机平台，并下载好软件RWEverything1.7 ......
elasticsearch集群red恢复损坏的索引
背景 客户磁盘损坏，修复磁盘后，重启机器，发现elasticsearch启动成功，ES状态正常green，但是历史数据都没有加载进，查看ES存储数据目录，发现数据还在。 解决方案 首先，需要确认indices目录下的lucene 索引正常。需要关闭ES（实际操作索引处于close状态也可以）。 # ......
Linux核心组件（CPU，内存，磁盘，网络，进程）
一、CPU 不同组件，每秒的运算、读写次数 命令集：lscpu+top/htop/uptime+mpstat+sar # 查看CPU静态信息 cat /proc/cpuinfo # 查看CPU统计信息 lscpu uptime Load Average(平均负载)：就是一段时间内（1分钟、5分钟、1 ......
全何发布96GB大容量DDR5内存：8400MHz超高频率
1月5日消息，台湾全何(V-Color)发布了全新的Manta XFinity系列DDR5内存，不但拥有最高96GB大容量，还有8400MHz最高频率。 新内存提供2x16GB、2×24GB、2×32GB、2×48GB等不同容量套装，频率最高可选8400MHz。 专门针对Intel平台优化，并支持X ......
内存速度的一个简单验证
内存速度的一个简单验证 背景 最近关注的公众号都在讨论PG数据库的在较大的shared_pool时 truncate 和 drop table的速度有了很大的衰退. 看了很多文章, 基本上都是说需要进行内存对象的遍历导致的. 最开始的理解. 内存是很快的, 几乎不用考虑太多时间. 能够加载进内存, ......
Spring学习记录之回顾反射机制
Spring学习记录之回顾反射机制 前言 这篇文章是我第二次学习b站老杜的spring相关课程所进行的学习记录，算是对课程内容及笔记的二次整理，以自己的理解方式进行二次记录，其中理解可能存在错误，欢迎且接受各位大佬们的批评指正； 关于本笔记，只是我对于相关知识遗忘时快速查阅了解使用，至于课程中实际实 ......
9解决elasticsearch深度分页问题
前面说到，分页可以使用from和size参数，类似于mysql的分页offset和limit。但是如果数据量比较大时，elasticsearch会对分页做出限制，因为此时会比较消耗性能。 为什么要限制 分页的时候，elasticsearch会根据查询条件到每个分片取出数据来，然后再由coordina ......
7.elasticsearch重建索引
什么时候需要重建索引 索引的mappings发生变更 索引的setting发生变更 集群内，集群间，需要做数据迁移 update by query 在现有索引重建 比如需要给一个text新增一个子字段，用english分词器。那么新添加的数据会被索引，之前的数据不会被索引。此时可以用_update_ ......
4.elasticsearch中查询条件
目录一、URI查询指定字段、泛查询分组和phraseBool条件must条件范围查询通配符查询正则表达式模糊匹配与近似查询二、RequestBody&DSLignore_unavailableprofileexplainqueryfrom、sizesort_sourcescript_fieldsma ......
5.elasticsearch中聚合查询
elasticsearch聚合查询 什么是聚合，就是目的不是查询具体的文档，而是查询文档的相关性，此外还可以对聚合的文档在按照其他维度再聚合。 包含以下四种聚合 Bucket Aggregation 一些列满足特定条件的文档的集合 terms 对某个字段统计每个不同的内容，以及出现文档的个数 ran ......
6.elasticsearch中search template和alias
什么是search template 顾名思义，查询模版，就是提前设定好查询的DSL，再次查询时，只需要指定对应的模版，然后传入相应的参数就好。一是可以每次不用构建复杂的DSL，二是可以供开发直接使用查询DSL模版，减少学习和对接成本。 有如下两种方法 一、创建脚本_script/template, ......
1.elasticsearch运行
在docker中运行elasticsearch、kibana 一、MacOs 首先需要安装doceker，提供两种方式，选一种方便的就好 1.命令行安装方式 安装命令行 xcode-select --install 安装homebrew /usr/bin/ruby -e "$(curl -fsSL ......