快照elasticsearch snapshot minio
Elasticsearch实战 | match_phrase搜不出来，怎么办？
1、问题抛出 某个词组在Elasitcsearch中的某个document中存在，就一定通过某种匹配方式把它搜出来。举例： title=公路局正在治理解放大道路面积水问题。 输入关键词:道路，能否搜索到这个document呢？实际应用中可能需要：1）检索关键词”理解”、”解放”、”道路”、“理解放大 ......
记：Elasticsearch 的 告警机制 和 jvm 内存分配
## Elasticsearch 的告警机制导致的更新失败问题 > 总结：由于测试环境资源占用比例过高导致 elasticsearch 触发保护机制，导致的更新失败的问题 Es 告警日志： 
本文通过docker快速部署elasticsearch8版本，再添加一台组成集群，并且部署kibana用于常规查询操作，以及一些常见的es操作 ......
【补充】Minio存储桶封包指南
# 【一】Docker部署Minio容器 ## 【1】Minio容器介绍 - Minio是一个开源的对象存储服务器，使用Apache License v2.0开源协议。 - 它提供了一个存储桶(bucket)的概念，类似于文件系统中的目录，用于存储对象文件。 - Minio与亚马逊S3云存储服务兼容 ......
分布式存储系统举例剖析（elasticsearch，kafka，redis-cluster）
1. 概述 对于分布式系统，人们首先对现实中的分布式系统进行高层抽象，然后做出各种假设，发展了诸如CAP, FLP 等理论，提出了很多一致性模型，Paxos 是其中最璀璨的明珠。我们对分布式系统的时序，复制模式，一致性等基础理论特别关注。 在共识算法的基础上衍生了选举算法，并且为分布式事务提供了部分 ......
Elasticsearch滚动索引
Elasticsearch滚动索引 随着业务支撑，es中日志索引中数据越来越大，查询效率下降，TB基本数据必须要对索引进行优化，优化第一步就是滚动索引 创建索引模板 PUT http://ip:9200/_template/test_idx_tpl { "settings": { "index": ......
spring boot 集成 Elasticsearch
一、背景 最近在做录制回放平台， 因为需要把部分数据存储到ES，因此特地实践和调研了一把，把相关材料记录一下； elastcishearch 版本：7.14.2 spring boot版本：2.6.13 spring-boot-starter-data-elasticsearch: 2.6.13 版 ......
【ES】ElasticSearch中"distinct","count"和"group by"的实现
## distinct 实现 1： > SELECT DISTINCT(user_id) FROM table WHERE user_id_type = 3; ``` { "query": { "term": { "user_id_type": 3 } }, "collapse": { "field ......
elasticsearch中的数据类型search_as_you_type及查看底层Lucene索引
search_as_you_type字段类型用于自动补全，当用户输入搜索关键词的时候，还没输完就可以提示用户相关内容。as_you_type应该是说当你打字的时候。它会给索引里的这个类型的字段添加一些子字段_2gram _3gram和_index_prefix。_2gram的意思是，如果一个值是ab ......
elasticsearch kibana
https://www.elastic.co/downloads/kibana https://www.elastic.co/downloads/elasticsearch http://localhost:9200/ http://localhost:5601/?code=568262 # 自动生 ......
elasticsearch中的数据类型：flattened和join
flattened：比如你有一个字段的值是一个json，这个json里面又有很多字段，你又不想一个一个的定义这些字段到mapping，就可以用flattened 直接动手：创建索引： PUT person { "mappings": { "properties": { "patient_name": ......
SpringBoot3集成ElasticSearch
Elasticsearch是一个分布式、RESTful风格的搜索和数据分析引擎，适用于各种数据类型，数字、文本、地理位置、结构化数据、非结构化数据； ......
Elasticsearch 保姆级入门篇
 Elasticsearch 是一个分布式的、面向生产规模工作负载优化的搜索引擎。 Kibana 可以将 Elast ......
Linux的ElasticSearch安装部署
## 简介 [全文搜索](https://baike.baidu.com/item/全文搜索引擎)属于最常见的需求，开源的 [Elasticsearch](https://www.elastic.co/) （以下简称 es）是目前全文搜索引擎的首选。 它可以快速地储存、搜索和分析海量数据。维基百科、 ......
ElasticSearch置顶方案
最近系统有个需求，希望工作流的审批人被催办后就要置顶在最前面， 工作流列表我是用es的，一开始想用pinned实现，但用pinned的话，每页都会置顶在前面，我的需求只是想让他优先排在前面，翻页后正常显示 后面找到这个，通过把匹配到数据的分数提高，然后用sort进行排序，就能实现我的需求了 GET ......
minio 数据备份和数据恢复
部署一个 mc 容器，做数据迁移 启动一个mc容器，并进入容器中 docker run -id --name mc minio/mc:RELEASE.2023-06-06T13-48-56Zdocker exec -it mc bash 分别设置 minio2021 和 minio2023 的ali ......
学好Elasticsearch系列-脚本查询
本文已收录至 Github，推荐阅读 👉 [Java 随想录](https://github.com/ZhengShuHai/JavaRecord) 微信公众号：[Java 随想录](https://mmbiz.qpic.cn/mmbiz_jpg/jC8rtGdWScMuzzTENRgicfnr9 ......
学好Elasticsearch系列-索引的批量操作
本文已收录至 Github，推荐阅读 👉 [Java 随想录](https://github.com/ZhengShuHai/JavaRecord) 微信公众号：[Java 随想录](https://mmbiz.qpic.cn/mmbiz_jpg/jC8rtGdWScMuzzTENRgicfnr9 ......
Elasticsearch在项目中的使用
一.mysql和es的比较 1.mysql适合存储海量的数据，但是某些情况下的查询效率过低。 正常可以通过添加索引等加快查询速度，但是模糊查询的时候效率很低，会触发全局扫描 SELECT * FROM product WHERE title like '%优惠券%' 2.基于 Lucene 引擎构建 ......
python minio基础测试
## 1、docker部署minio 点击查看代码 ``` mkdir -p /opt/minio mkdir -p /opt/minio mkdir -p /opt/minio/data vim /opt/minio/config.env MINIO_ROOT_USER=admin MINIO_R ......
ElasticSearch批量重建索引
# ElasticSearch批量重建索引 > ver 7.16.2 ES的设计目标是针对检索的, 对修改的支持不够好, 特别是对数据结构的修改, 和关系数据库不一样, 修改数据结构后, 索引的历史数据不会改变, 如果需要历史数据也应用修改后的结构和设置, 需要重建索引(Reindex). 重建索引 ......
volatility3处理虚拟机内存快照报错
# 准备工作 python 3.7 以上 https://github.com/volatilityfoundation/volatility3 ``` #安装 pip install volatility3 #使用 vol.exe -vvv -f test-Snapshot1.vmem hashd ......
Spring Data Elasticsearch 4.x官网文档的摘录
#引用来源： > https://docs.spring.io/spring-data/elasticsearch/docs/4.4.14/reference/html/#preface.metadata #为什么要做这种 Copy 最近项目中也在做 es 的接入，一方面是学习过程的记录，另一方面也 ......
minio
# MinIOServer安装 1.2 使用命令在root目录下创建minio文件夹，打开minio文件夹，下载minio cd mkdir -p /opt/minio cd /opt/minio wget https://dl.min.io/server/minio/release/linux-a ......
【Elasticsearch】索引结构
Elasticsearch索引主要结构有mapping和setting。 Mapping： 索引的Mapping可以类比关系型数据库中的Schema，主要包含： 定义索引中字段名称 定义字段数据类型，如：字符串、数字、boolean等 可对字段设置倒排索引相关配置，如是否需要分词，使用什么分词器 注 ......
Elasticsearch 快照管理
准备共享目录 mkdir /data/esbackupchown -R elasticsearch:elasticsearch /data/esbackupmount -t nfs 192.168.1.110:/data/esbackup /data/esbackupvi elasticsearch ......
Elasticsearch之Doc Value与Fielddata
1、Doc Values 倒排索引在搜索包含指定term的doc时非常高效，但是在相反的操作时表现很差：查询一个文档中包含哪些term。具体来说，倒排索引在搜索时最为高效，但在排序、聚合等与指定filed相关的操作时效率低下，需要用doc_values。 倒排索引将term映射到包含它们的doc，而 ......
【Elasticsearch】总结
什么是Elasticsearch？Elasticsearch 是基于 Lucene 的 Restful 的分布式实时全文搜索引擎，每个字段都被索引并可被搜索，可以快速存储、搜索、分析海量的数据。全文检索是指对每一个词建立一个索引，指明该词在文章中出现的次数和位置。当查询时，根据事先建立的索引进行查找 ......
31.ElasticSearch自定义词库
安装nginx 在mydata文件夹下创建一个nginx文件夹： mkdir nginx 随便启动一个nginx实例，只是为了复制出配置： docker run -p 80:80 --name nginx -d nginx:1.10 如下图可以看到启动好了nginx容器，当然这个容器我们只是为了用来 ......