elasticsearch简介
elasticsearch oom问题分析
背景 线上发现elasticsearch集群状态red，并且有个es节点jvm内存使用不断升高，直到gc后依然内存不够使用，服务停止。查看日志，elasticsearch出现OOM报错。 [2023-12-06T08:21:26,706][ERROR][o.e.b.ElasticsearchUnca ......
Elasticsearch专栏 集群管理
Elasticsearch 集群管理 简介 Elasticsearch 是一个开源的分布式搜索和分析引擎，用于处理大规模的结构化和非结构化数据。集群管理是确保 Elasticsearch 在生产环境中高效运行的关键任务之一。 集群基础知识 节点（Nodes）： Elasticsearch 集群由一个 ......
Elasticsearch专栏 基础知识
Elasticsearch 基础知识 1. 什么是 Elasticsearch？ Elasticsearch 是一个开源、分布式、实时搜索和分析引擎，建立在 Apache Lucene 基础之上。它提供了一个强大的 RESTful API，用于进行复杂的搜索和分析操作。 2. 核心概念 2.1 节点 ......
Elasticsearch专栏 集群分片管理
Elasticsearch 集群分片管理 简介 Elasticsearch 是一个分布式搜索和分析引擎，数据在集群中被分割成多个分片，以实现高性能和可伸缩性。在管理 Elasticsearch 集群时，分片的合理分配和监控是至关重要的。 分片基础知识 主分片（Primary Shard）： 每个索引 ......
Elasticsearch专栏 集群安全认证
Elasticsearch 集群安全认证 简介 Elasticsearch 的安全认证功能用于确保只有经过授权的用户才能访问集群和执行特定操作。这有助于保护集群中的数据和资源。 安全认证组件 1. X-Pack Security 插件 X-Pack 是 Elastic 提供的官方插件，包含了 Ela ......
Rust权威指南阅读笔记（一）Rust简介与安装
参考： Windows10配置Rust开发环境 | jonssonyan' Website win10安装Rust+VS Code配置Rust环境 - 鱼又悲 - 博客园 (cnblogs.com) 1.1 Rust简介 1.2 安装Rust https://www.rust-lang.org/zh ......
elasticsearch集群red恢复损坏的索引
背景 客户磁盘损坏，修复磁盘后，重启机器，发现elasticsearch启动成功，ES状态正常green，但是历史数据都没有加载进，查看ES存储数据目录，发现数据还在。 解决方案 首先，需要确认indices目录下的lucene 索引正常。需要关闭ES（实际操作索引处于close状态也可以）。 # ......
大语言模型优化方法简介：Prompt、RAG、Fine-tuning
GPT、LLama、Gemini等大语言模型虽展现出强大能力，但在实际应用中仍有问题，例如在准确性、知识更新速度和答案透明度方面，仍存在挑战。 论文“Retrieval-Augmented Generation for Large Language Models: A Survey（面向大语言模型的 ......
雷达脉冲简介
脉冲雷达 图 1：雷达运行时间测量 脉冲雷达发射短而强的脉冲，并在静默期接收回波信号。与 连续波雷达相比，发射器在测量完成之前关闭。该方法的特点是雷达脉冲调制具有非常短的传输脉冲（通常传输脉冲持续时间为τ ≈ 0.1 … 1 µs）。 发射脉冲之间有非常大的脉冲暂停Τ >> τ，这被称为 接收时间 ......
Flink 简介
Apache Flink是一个分布式流处理器，具有直观和富有表现力的API，可实现有状态的流处理应用程序。它以容错的方式有效地大规模运行这些应用程序。 Flink于2014年4月加入Apache软件基金会作为孵化项目，并于2015年1月成为顶级项目。从一开始，Flink就拥有一个非常活跃且不断增长的 ......
9解决elasticsearch深度分页问题
前面说到，分页可以使用from和size参数，类似于mysql的分页offset和limit。但是如果数据量比较大时，elasticsearch会对分页做出限制，因为此时会比较消耗性能。 为什么要限制 分页的时候，elasticsearch会根据查询条件到每个分片取出数据来，然后再由coordina ......
7.elasticsearch重建索引
什么时候需要重建索引 索引的mappings发生变更 索引的setting发生变更 集群内，集群间，需要做数据迁移 update by query 在现有索引重建 比如需要给一个text新增一个子字段，用english分词器。那么新添加的数据会被索引，之前的数据不会被索引。此时可以用_update_ ......
4.elasticsearch中查询条件
目录一、URI查询指定字段、泛查询分组和phraseBool条件must条件范围查询通配符查询正则表达式模糊匹配与近似查询二、RequestBody&DSLignore_unavailableprofileexplainqueryfrom、sizesort_sourcescript_fieldsma ......
5.elasticsearch中聚合查询
elasticsearch聚合查询 什么是聚合，就是目的不是查询具体的文档，而是查询文档的相关性，此外还可以对聚合的文档在按照其他维度再聚合。 包含以下四种聚合 Bucket Aggregation 一些列满足特定条件的文档的集合 terms 对某个字段统计每个不同的内容，以及出现文档的个数 ran ......
6.elasticsearch中search template和alias
什么是search template 顾名思义，查询模版，就是提前设定好查询的DSL，再次查询时，只需要指定对应的模版，然后传入相应的参数就好。一是可以每次不用构建复杂的DSL，二是可以供开发直接使用查询DSL模版，减少学习和对接成本。 有如下两种方法 一、创建脚本_script/template, ......
1.elasticsearch运行
在docker中运行elasticsearch、kibana 一、MacOs 首先需要安装doceker，提供两种方式，选一种方便的就好 1.命令行安装方式 安装命令行 xcode-select --install 安装homebrew /usr/bin/ruby -e "$(curl -fsSL ......
2.elasticsearch中的mapping
mapping 顾名思义，代表了映射关系。是文档中字段和数据类型的映射关系 为什么要了解mapping 虽然elasticsearch中已尽有的动态mapping(Dynamic Mapping)，而且新增字段默认也会添加新的mapping，但是毕竟是机器，有时会推算的不对，比如地理位置信息，特殊格 ......
Python Pandas NumPy NaN和Inf简介及常用操作
NumPy（Numerical Python）是一个用于科学计算的库，它提供了对多维数组（例如矩阵）和一系列数学函数的支持。NumPy 中包含了处理 NaN（Not-a-Number）和 Inf（Infinity）等特殊值的功能。本文主要介绍一下Python Pandas NumPy 中 NaN ......
01 Redis 简介
1. Redis的历史和背景 Redis（Remote Dictionary Server），是由意大利工程师Salvatore Sanfilippo（别名antirez）于2009年开发的。最初，它是为了解决他的公司在提供实时Web日志分析服务时遇到的性能瓶颈而设计的。Redis因其出色的性能、简 ......
Elasticsearch对接MinIO存储Snapshot快照
服务器配置 MinIO集群节点(4节点) IP 节点1 miniotest1.ip.tp-link.com 172.29.145.80 生产环境需要增加一个Nginx负载均衡前端用于ELK对接，此处直接对接节点1 ELK集群（3节点） Elasticsearch版本为7.17.12 iamdemo1 ......
Elasticsearch监控
Kibana集群监控 https://www.cnblogs.com/h--d/p/13192992.html 监控elasticsearch集群方案 https://www.cnblogs.com/1zhangwenjing/p/12312142.html#_label4 MetricBeat + ......
Elasticsearch使用系列-ES简介和环境搭建
Elasticsearch使用系列-ES简介和环境搭建 目录 一、简介 二、Windows搭建ES 三、Linux搭建ES 四、Docker搭建ES Elasticsearch使用系列-ES简介和环境搭建 Elasticsearch使用系列-ES增删查改基本操作+ik分词 Elasticsearch ......
34.子查询简介
目录 子查询简介 带From关键字的子查询 带IN关键词的子查询 带比较运算符的子查询 with…as 简介 定义：子查询指一个查询语句嵌套在另一个查询语句内部，在SELECT子句中先计算子查询，子查询的结果作为外层另一个查询的过滤条件，查询可以基于一个表或者多个表。 这个特性从MySQL 4.1开 ......
30.多表关系简介
目录 一对多 多对多 一对一 一对多 定义： 主表的一条记录可以对应从表的多条记录 例子： 部门表，员工表 建表原则：在一对多关系中，多的表定位从表，设置外键指向主表 多对多 定义：主表的多条记录可以对应从表的多条记录 例子：商品信息表，客户表，订单表 建表原则：需要创建第三张表作为中间表，中间表需 ......
AXI-STREAM简介
AXI-STREAM简介 概念 AXI-Stream总线是一种高效、简单的数据传输协议，主要用于高吞吐量的数据流传输场景。相比于传统的AXI总线，AXI-Stream总线更加简单和轻量级，它通过无需地址的方式，将数据从一个模块传输到另一个模块，适用于需要高速数据传输的应用场景。 部分术语 Trans ......
28.多表简介
目录 多表及使用场景介绍 多表设计案例 使用多表的优点 多表及应用场景介绍 多表顾名思义就是在数据库设计中使用多张表格来实现数据存储的要求 在实际的项目开发中，数据量大而且复杂，需要分库分表 分表：按照一定的规则，对原有的数据库和表进行拆分 表与表之间可以通过外键建立连接 多表设计案例 创建一张员工 ......
【性能测试入门必看】性能测试流程简介
性能测试流程介绍： 一、性能测试流程（一）——问清性能测试需求 1、新系统能力验证 2、明确客户需求 3、找出系统性能瓶颈 4、稳定性验证（强度测试） 二、性能测试流程（二）——了解系统结构 系统架构对于测试新手来是最难的；先来了解系统所使用的技术和框架，在环境搭建阶段，你需要了解项目的部署；在性能 ......
elasticsearch activemq 进程
[root@mvp1 ~]# ps -ef | grep elaes 23985 1 0 2023 ? 01:02:42 /opt/elasticsearch/jdk/bin/java -Xshare:auto -Des.networkaddress.cache.ttl=60 -Des.networ ......
【ElasticSearch】Scroll滚动查询
REST API Java Client BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery(); boolQueryBuilder.must(QueryBuilders.termQuery("enable", 1)); final ......
Dependency Walker 工具简介及使用
简介 官方概述： Dependency Walker is a free utility that scans any 32-bit or 64-bit Windows module (exe, dll, ocx, sys, etc.) and builds a hierarchical tree ......