快照elasticsearch snapshot minio
【ElasticSearch】大数据量情况下的前缀、中缀实时搜索方案
大数据、elasticsearch、实时搜索、search_as_you_type、Completion Suggester、查询优化、前缀匹配、中缀匹配 ......
docker-compose单体服务部署minio集群
docker-compose单体服务部署minio集群 #docker-compose.yaml version: "3" # starts 4 docker containers running minio server instances. Each # minio server's web i ......
elasticsearch 生命周期策略配置以及模版索引设置
- elastcisearch 生命周期策略 ``` PUT _ilm/policy/deeplang-logger-policy { "policy" : { "phases" : { "warm" : { "min_age" : "7d", "actions" : { "allocate" : ......
Elasticsearch查询
Elasticsearch查询 什么是Elasticsearch？ Elasticsearch is a real-time, distributed storage, search, and analytics engine Elasticsearch 是一个实时的分布式存储、搜索、分析的引擎。 ......
minio集群部署，4台服务器+1台nginx
4台主机+1台nginx负载均衡分布式Minio里所有的节点需要有同样的access秘钥和secret秘钥，即：用户名和密码分布式Minio存放数据的磁盘目录必须是空目录分布式Minio官方建议生产环境最少4个节点，因为有N个节点，得至少保证有N/2的节点才能可读，保证至少N/2+1的节点才能可写。 ......
elasticsearch 聚合函数求和、求平均值
按 dlmc 字段分组，对 tbmj 字段求和、求平均值 { "aggs": { "group_by_dlmc_sum": { "terms": { "size": 1000, "field": "dlmc.keyword" }, "aggs": { "tbmj_sum": { "sum": { " ......
使用docker搭建minio对象存储
### 拉取镜像 ``` docker pull minio/minio ``` ### 运行容器 ``` docker run -p 9000:9000 -p 9001:9001 -d \ -v /Users/oldwei/minio/data:/data \ -e "MINIO_ROOT_USE ......
新手想学习elasticsearch开发，本文将带你快速学习ES dismax查询和自动补全查询
作为新手如何快速掌握Elasticsearch开发，本篇文章将带你从0到1开始搭建属于自己的ES索引引擎，包含了ES 的dismax搜索、function score评分、自动补全查询等功能 ......
elasticsearch 设置自定义分词
要在Elasticsearch中使用MySQL数据库中定义的分词，你需要执行以下步骤： 1. 将MySQL数据库中的分词数据导入到Elasticsearch中： - 从MySQL数据库中提取分词数据，包括分词规则、停用词等。 - 将这些数据转换为适合Elasticsearch使用的格式，例如JSON ......
4.ElasticSearch~进阶(二)
1、aggregation (执行聚合)聚合提供了从数据中分组和提取数据的能力。最简单的聚合大致等于SQL的聚合函数。在ElasticSearch中，你有执行搜索返回hit，并且同时返回聚合结果，把一个响应中所有hits分隔开的能力，这是非常强大且有效的。您可以执行查询和多个聚合并且在一次使用中得到 ......
3.ElasticSearch~进阶
ES支持两种基本方式检索： 一个是通过使用 REST request URI来发送搜索参数(uri + 检索参数) GET bank/_search?q=*&sort=account_number:asc 另一个是通过 REST request body 来发送他们 (uri + 请求体) GET ......
SpringBoot中进行elasticSearch查询，使用QueryBuilders构建各类条件查询
查询所有 //搜索全部文档 QueryBuilder queryBuilder = QueryBuilders.matchAllQuery(); 查询单个,等于/eq //单个匹配，搜索name为li的文档 QueryBuilder queryBuilder = QueryBuilders.matc ......
SpringBoot集成ElasticSearch时分页排序查询时遇到的坑每次只能返回10条数据
背景 在使用ElasticSearch来分词查询，并分页返回指定的数据条数，但是当我们每次想得到分页数据条数超过十条的时候，ElasticSearch总是只能返回十条。这是因为ElasticSearch为了查询的速度，在默认的情况下已经设置了分页数据只能返回10条，所以我们需要通过改变size（返回 ......
docker安装8版本elasticsearch遇到的问题FileSystemException
## docker安装8版本elasticsearch遇到的问题 ```bug Exception in thread "main" java.nio.file.FileSystemException: /usr/share/elasticsearch/config/elasticsearch.ym ......
minio 配置https
思路有两个： 通过nginx反向代理，将https配置在nginx，内部的MinIO还是使用HTTP； MinIO服务端直接配置成HTTPS； 首先，根据官网描述（Network Encryption (TLS) — MinIO Object Storage for Linux），将TLS的公私钥放 ......
python操作elasticsearch-全文检索、拼写纠错、补全提示
1、首先安装elasticsearch包 pip install elasticsearch (一般会包含新旧版本，如果想要特定的版本，比如5.x 可以在后面加5数字) ```Python """ 1、首先安装elasticsearch包 pip install elasticsearch (一般会 ......
ElasticSearch索引库的增删改查
官方文档：[https://www.elastic.co/guide/en/elasticsearch/reference/6.8/indices.html](https://www.elastic.co/guide/en/elasticsearch/reference/6.8/indices.ht ......
ElasticSearch-document文档数据-增删改
文档就是相当于每条记录。 **每个文档（数据记录行）都有几个元数据，分别是**： - _index，表示该文档是那个索引中的。 - _type，表示文档的类型 - _id，文档的唯一ID编号 - _score，相关性分数。 # 添加文档（添加数据） ```JSON POST /库名/类型名[/id] ......
ElasticSearch查询数据、全文检索、补全提示、拼写纠错
[https://www.elastic.co/guide/en/elasticsearch/reference/6.8/search.html](https://www.elastic.co/guide/en/elasticsearch/reference/6.8/search.html) [ht ......
ElasticSearch给索引起"别名"和其重要性
**创建别名：** [https://www.elastic.co/guide/en/elasticsearch/reference/6.8/indices-aliases.html](https://www.elastic.co/guide/en/elasticsearch/reference/6 ......
ElasticSearch安装中文分词器（插件）、分词测试
[https://github.com/medcl/elasticsearch-analysis-ik](https://github.com/medcl/elasticsearch-analysis-ik) **分词测试：** [https://www.elastic.co/guide/en/el ......
ElasticSearch-Mapping类型映射-增删改查
[https://www.elastic.co/guide/en/elasticsearch/reference/6.8/mapping.html](https://www.elastic.co/guide/en/elasticsearch/reference/6.8/mapping.html) 7 ......
初始elasticSearch
# elasticSearch ## 大致印象 ### 为什么用? 1. mysql更擅长于crud等操作,当一张表达到百万级别时,检索速度过慢 2. es检索速度快 ### 基本概念 1. **Index索引**(两层意思) 1. 动词:类似mysql的insert 2. 名词:类似mysql的数 ......
Elasticsearch date数据类型
时间和日期类型是我们作为开发每天都会遇到的一种常见数据类型。和Java中有所不同，Elasticsearch 在索引创建之前并不是必须要创建索引的mapping。关系型数据库的思维就是在于写入数据之前，并不强制创建表结构。我们不用事先声明字段名称，字段类型以及长度等属性就可以直接向一个不存在的表中直 ......
ElasticSearch快照备份、还原
# 快照备份 备份和还原的前提：在配置文件elasticsearch.yml中设置path.repo ```YAML path.repo: ["D:\\elasticsearch-6.8.23\\elasticsearch-6.8.23\\snapshot_data"] ``` ## 创建快照仓库 ......
2.ElasticSearch入门
一、初步检索 1、_cat GET /_cat/nodes : 查看所有结点 GET /_cat/health : 查看es的健康状况 GET /_cat/master : 查看主节点 GET /_cat/indices ：查看所有索引 2、索引一个文档 保存一个数据，保存在哪个索引的哪个类型下，指 ......
java~SNAPSHOT版本号的作用
在 Maven 中，`-SNAPSHOT` 后缀是用于标识项目版本为快照（Snapshot）版本的约定。快照版本是处于开发和演进中的版本，通常用于开发人员在`构建和测试过程中进行频繁的版本迭代`；反之，如果不是Snapshot后缀的包，例如v1.1.0，这说明它是一个相对稳定的版本了，这个版本一经发 ......
1-ElasticSearch - Docker安装
1、下载镜像文件 docker pull elasticsearch:7.4.2docker pull kibana:7.4.2 2、创建实例 创建文件夹和配置文件 mkdir -p /mydata/elasticsearch/configmkdir -p /mydata/elasticsearch ......
MinIO 搭建
官网：https://min.io 中文官网http://www.minio.org.cn，http://dl.minio.org.cn GitHub：https://github.com/minio 对象存储服务OSS（Object Storage Service）是一种海量、安全、低成本、高可靠 ......
Docker安装ElasticSearch
# Docker安装ElasticSearch 标签（空格分隔）： linux 安装ElasticSearch 版本：elasticsearch:7.10.1 mkdir -p /usr/local/elasticsearch/config mkdir -p /usr/local/elasticse ......