elasticsearch
Elasticsearch之SearchAPI
## Search API ES 的 Search API 分为两大类，第一类是 **URI Search**，用 HTTP GET 的方式在 URL 中使用查询参数已达到查询的目的；另一类为 **Request Body Search**，可以使用 ES 提供的基于 JSON 格式的格式更加完备的 ......
ElasticSearch系列——查询、Python使用、Django/Flask集成、集群搭建，数据分片、位置坐标实现附近的人搜索
@[toc] # Elasticsearch之-查询 ``` 查询分类： 基本查询：使用es内置查询条件进行查询 组合查询：把多个查询组合在一起进行复合查询 过滤：查询的同时，通过filter条件在不影响打分的情况下筛选数据 ``` ## 一 基本查询 ```python #添加映射 PUT lag ......
Elasticsearch之aliases
## aliases的作用 索引别名可以指向一个或多个索引，允许我们做如下操作： * 在运行的集群中可以无缝的从一个索引切换到另一个索引 * 可以给多个索引分组 * 可以与路由搭配使用 准备数据 ``` java # 创建索引p1 PUT p1/_doc/1 { "title":"周一" } # 创 ......
Elasticsearch之settings
## settings 结构 查看索引settings信息 ``` java GET {索引名}/_settings ``` 返回结果： ``` java "settings" :{ // 分片数量 "number_of_shards" : 1, // 副本数量 "number_of_repicas ......
Elasticsearch之Mapping
## Mapping的作用 Mapping 类似数据库中的表结构定义 schema ，它有以下几个作用： * 定义索引中的字段名称 * 定义字段的数据类型，如字符串、数字、布尔等 * 字段，倒排索引的相关配置，如设置某个字段不被索引、记录 position等 ## 字段数据类型 ### 核心类型 ` ......
Elasticsearch之索引简单应用
> 本篇所有操作都在 Kibana 上执行 ## 创建第一个索引 ``` java PUT product { // 索引设置 "settings": { // 分片数量 "number_of_shards": 3, // 副本数量 "number_of_replicas": 1 }, // 索引字 ......
docker部署安装ElasticSearch
基于lucene开发的ElasticSearch由于其高效的检索性能，已经实际形成诸多业务架构中必备的一个技术组成部分。本次实际开发环境为Centos7，准备基于springboot搭建一套检索系统，自然ElasticSearch就是第一选择了。不过单独部署安装es又显得异常费事，docker容器服 ......
ElasticSearch常用术语
## 一、 数据库和ES简单类比 | 关系型数据库 | 表(Table) | 行(Row) | 列(Cloumn) | Schema | SQL | | | | | | | | | Elasticsearch | 索引(Index) | 文档(Document) | 字段(Filed) | Mapp ......
Elasticsearch环境搭建
## 一、安装 elasticsearch ``` java -- 拉取镜像 docker pull docker.elastic.co/elasticsearch/elasticsearch:8.9.1 -- 创建 docker 网络 docker network create elastic - ......
Elasticsearch7.8集群实践记录之下线节点
1.背景：由于机房迁移需要将elasticsearch集群进行跨机房搬迁，采取先扩容再收缩的方式进行，已有效减小对业务环境的影响。当前需要将老的节点有序下线。 2.操作步骤： 1.检查集群配置，保证主节点的可用性； # 设置 minimum_master_nodes 为 2 curl -XPUT ' ......
Elasticsearch7.8集群实践记录
1.背景：当需要开发团队搭建自有elasticsearch集群时候，需要先明确具体的应用场景，进而对可用性，性能以及容量进行评估。当前实践记录主要应用场景在于业务日志记录短暂保存以便提供近期数据查询，并选择elasticsearch版本7.8.0，可用性要求三个9，每日数据量月1.5T，数据保存大约 ......
Elasticsearch
# ES（分布式、开源、查询） ``` 传统数据一般会分三个方向：结构化数据、非结构化数据、半结构化数据 结构化数据：一般每个字段之间都是有关系的，例如mysql的主键唯一id代表了该条数据的唯一定位（mysql、mongodb） 非结构化数据：无法用二维表结构来设计，文章、日志、视频、图片等等（m ......
Elasticsearch系列
- [Elasticsearch介绍](https://www.cnblogs.com/hkwJsxl/p/17680951.html) - [Elasticsearch系列之-linux.docker安装和基础操作](https://www.cnblogs.com/hkwJsxl/p/176809 ......
喜讯！极限科技再次中标中国移动云 Elasticsearch 自研版技术开发服务项目！
喜讯！极限科技 **再次中标** 中国移动云 Elasticsearch 自研版技术开发服务项目！ 近日，极限科技再次成功中标中国移动苏州研发中心 《云能力中心 2023—2024 年移动云 Elasticsearch 自研版技术开发服务项目》。实现了个性化搜索及聚合分析，更稳定可靠地支持万亿级数据 ......
elasticsearch wildcard 慢查询原因分析(深入到源码!!!)
> 大家好，我是蓝胖子，前段时间线上elasticsearch集群遇到多次wildcard产生的性能问题， elasticsearch wildcard 一直是容易引发elasticsearch 容易宕机的一个风险点， 但究竟它为何消耗cpu呢？又该如何理解elasticsearch profile ......
Java elasticsearch scroll模板实现
## 一、scroll说明和使用场景 `scroll`的使用场景：**大数据量的检索和操作** `scroll`顾名思义，就是游标的意思，核心的应用场景就是遍历 elasticsearch中的数据； 通常我们遍历数据采用的是分页，elastcisearch还支持`from size`的方式进行分页查 ......
ElasticSearch安装
# 一、ES对应JDK版本 我们在安装ElasticSearch的时候一定要注意ElasticSearch当前版本所支持的JDK版本，免得白安装了。 ElasticSearch与JDK对应的版本查看网址：[https://www.elastic.co/cn/support/matrix#matrix ......
电商类面试问题--01Elasticsearch与Mysql数据同步问题
在实现基于关键字的搜索时，首先需要确保MySQL数据库和ES库中的数据是同步的。为了解决这个问题，可以考虑两层方案。 1. 全量同步：全量同步是在服务初始化阶段将MySQL中的数据与ES库中的数据进行全量同步。可以在服务启动时，对ES库进行全量数据同步操作，以确保数据的一致性。而在停止服务时，可以清 ......
向量搜索技术：基于Elasticsearch/PostgreSQL/Redis扩展的向量搜索数据库或独立向量搜索引擎方案参考
理论基础与研究 向量数据库用于非结构化文本、图片、音频、视频搜索、推荐，将他们转换为数字向量表示来进行相似性(ANN)搜索。存储和搜索高维向量是其特征之一，通常采用高级索引技术和算法如HNSW, Annoy, 或Faiss来实现。不同于SQL数据库，向量数据库更像nosql，用户接受使用sdk/AP ......
docker安装elasticsearch8.8.1+kibana，并用java连接
安装es 1，下载镜像 docker pull elasticsearch:8.8.1 查询是否下载成功 docker images 2，创建es网络 docker network create elastic 3，这里不挂载目录，单例模式，先后台启动 启动后可查看日志信息 docker logs ......
ElasticSearch的基础概念介绍
# 一、概述 ## 1.1 简介 > 官网：[https://www.elastic.co/](https://www.elastic.co/) `Elasticsearch`(简称`ES`)是一个基于`Apache Lucene`构建的开源、分布式、`RESTful`接口的全文搜索引擎，`Elas ......
【升职加薪秘籍】我在服务监控方面的实践(8)-elasticsearch 性能监控与分析手段
> 大家好，我是蓝胖子，之前讲了mysql，redis中间件的监控，今天我们再来看看另一个基础组件elasticsearch，如何对它进行监控，当你思考如何对一个组件进行监控时，四大黄金指标会告诉你答案，我们同样会从四大黄金指标给出的维度进行分析。 针对es做的性能分析，用四大黄金指标原则，我们可以 ......
ElasticSearch 重建索引 _reindex
前言何为重建索引在原index的基础上copy一份数据在新index（字段相同，类型可不相同）。 为什么有重建索引的需求当分词插件变更，数据类型改变等等。（当然也可以直接重跑一份数据） 如何重建索引请借步参阅官网文档https://www.elastic.co/guide/en/elasticsea ......
ElasticSearch玩耍
现在是大数据的时代，大家对于ElasticSearch 简称 es这块应该并不陌生，但是说到es就要讲讲 Lucene 和 es 的前世今生 了。 Lucene 和 es 的前世今生 Elasticsearch 是基于 Lucene 实现的。Lucene 是一个开源的全文检索引擎库，它可以用于构建各 ......
Elasticsearch，Logstash和Kibana安装部署（ELK Stack）
前言 当今数字化时代，信息的快速增长使得各类组织和企业面临着海量数据的处理和分析挑战。在这样的背景下，ELK Stack（Elasticsearch、Logstash 和 Kibana）作为一套强大的开源工具组合，成为了解决数据管理、搜索和可视化的首选方案。无论是监控日志、实时数据分析，还是构建仪表 ......
elasticsearch-dump使用指南
# 文档 镜像地址：https://hub.docker.com/r/elasticdump/elasticsearch-dump/ # 数据在线导出导入 ```css docker run --rm -ti elasticdump/elasticsearch-dump \ --input=http ......
Elasticsearch性能优化
```bash GET _search { "query": { "match_all": {} } } GET _cat/indices GET _cat/shards PUT /server-2023.02.09/_settings { "number_of_replicas": 0 } PUT ......
Elasticsearch 保姆级入门篇
Elasticsearch 是一个分布式的、面向生产规模工作负载优化的搜索引擎。 Kibana 可以将 Elasticsearch 中的数据转化为直观的图表、图形和仪表盘。 这篇文章，您将学习本地安装 Elasticsearch 和 Kibana，以及使用开发工具/ Java SDK 创建索引和搜索 ......
VictoriaLogs：一款超低占用的 ElasticSearch 替代方案
 # 背景 前段时间我们想实现 `Pulsar` 消息的追踪流程，追踪实现的效果图如下： ![image.png](https://s2.loli.net/2023/08/ ......
docker安装elasticsearch和kibana
下载镜像和启动镜像： docker search elasticsearch docker pull nshou/elasticsearch-kibana docker run -d -p 9200:9200 -p 9300:9300 -p 5601:5601 --name eskibana nsh ......