elasticsearch秘籍 手段 方面
大量索引场景下 Easysearch 和 Elasticsearch 的吞吐量差异
最近有客户在使用 Elasticsearch 搜索服务时发现集群有掉节点，并且有 master 收集节点信息超时的日志，节点的负载也很高，不只是 data 节点，master 和协调节点的 cpu 使用率都很高，看现象集群似乎遇到了性能瓶颈。 查看了 Hot_threads, 发现大量线程被权限验证 ......
ElasticSearch之文件描述符的数量
ElasticSearch在运行过程中，涉及大量文件的打开、关闭、读、写等操作。因此当ElasticSearch进程的文件描述符数量不足时可能导致丢失数据等故障现象。 因此为保障ElasticSearch正常运行，需保证ElasticSearch可以使用至少65535个文件描述符。 查看Linux系 ......
ElasticSearch之虚拟内存
查看当前Linux系统中vm.max_map_count变量的值，命令如下： sysctl vm.max_map_count 执行结果的样例，如下： vm.max_map_count = 65530 修改参数vm.max_map_count的值，命令如下 sysctl -w vm.max_map_c ......
ElasticSearch之禁用交换分区
操作系统将进程加载至内存中执行时，对于当前未使用到的内存页，可能会将相关内存页交换至硬盘上，即swap。 对于性能敏感、时延敏感的应用程序比如ElasticSearch，swap特性会明显影响性能和稳定性，因此最好禁用swap特性。 对于Linux环境，目前有如下手段可以禁用swap特性。 临时关闭 ......
后端的性能优化有哪些方面？
Java的性能优化可以从多个方面入手，从影响性能的方面考虑一下。包括以下几个方面： 线程池调优：适当地调整线程池的大小和线程数，可以提高程序的并发性能和响应速度。 内存管理：合理地管理内存使用，包括对象的创建和销毁，可以提高程序的执行效率。 IO操作优化：采用NIO方式可以减少IO操作时的阻塞等待， ......
Java 远程调用连接本地ElasticSearch服务并进行操作
简单几步,结合Cpolar 内网穿透工具实现Java 远程连接操作本地Elasticsearch Cpolar内网穿透提供了更高的安全性和隐私保护，通过使用加密通信通道，Cpolar技术可以确保数据传输的安全性，这为用户和团队提供了更可靠的保护，使他们能够放心地处理和存储敏感的工作内容。 1. Wi ......
ElasticSearch之cat data frame analytics API
命令样例如下： curl -X GET "https://localhost:9200/_cat/ml/data_frame/analytics?v=true&pretty" --cacert $ES_HOME/config/certs/http_ca.crt -u "elastic:ohCxPH= ......
ElasticSearch之cat count API
读取当前存储的记录的数量。 命令样例如下： curl -X GET "https://localhost:9200/_cat/count?v=true&pretty" --cacert $ES_HOME/config/certs/http_ca.crt -u "elastic:ohCxPH=QBE+ ......
ElasticSearch之配置
ElasticSearch主要的配置文件，如下： elasticsearch.yml，ElasticSearch的相关参数。 jvm.options，JVM的相关参数。 log4j2.properties，日志的相关参数。 默认情况下，ElasticSearch从$ES_HOME/config目录下 ......
ElasticSearch之cat component templates API
命令样例如下： curl -X GET "https://localhost:9200/_cat/component_templates?v=true&pretty" --cacert $ES_HOME/config/certs/http_ca.crt -u "elastic:ohCxPH=QBE+ ......
ElasticSearch之cat anomaly detectors API
curl -X GET "https://localhost:9200/_cat/ml/anomaly_detectors?v=true&pretty" --cacert $ES_HOME/config/certs/http_ca.crt -u "elastic:ohCxPH=QBE+s5=*lo7 ......
ElasticSearch
环境准备 1.安装ElasticSearch # 创建网络 docker network create es-net docker network ls # 拉取镜像 docker pull elasticsearch:7.12.1 # 创建容器 docker run -d \ --name es ......
ElasticSearch的安装和使用
ElasticSearch的安装和使用 elasticsearch安装步骤 1、下载elasticsearch-7.2.0并解压缩 将elasticsearch解压缩到 /usr/local tar -zxvf elasticsearch.tar.gz -C /usr/local/ 2、创建es的用 ......
Docker中使用elasticsearch
Docker中使用elasticsearch 1、docker拉取elasticsearch:7.17镜像 这里我们拉取7.17.10版本：docker pull elasticsearch:7.17.10 2、创建自己的配置文件并写入基础数据供后续挂载后直接启动使用 【非必选，在不指定挂载配置文件 ......
ElasticSearch之cat allocation API
查看各节点上各个shard的硬件使用情况，命令样例如下： curl -X GET "https://localhost:9200/_cat/allocation?v=true&pretty" --cacert $ES_HOME/config/certs/http_ca.crt -u "elastic ......
ElasticSearch之系统关键配置
ElasticSearch之系统关键配置 集群名称 在配置文件$ES_HOME/config/elasticsearch.yml中指定，样例如下： cluster: name: logging-prod 或者 cluster.name: logging-prod 节点的名称 在配置文件$ES_HOM ......
ElasticSearch之Nodes info API
查看当前集群中各节点的信息，执行如下命令： curl -X GET "https://localhost:9200/_nodes?pretty" --cacert $ES_HOME/config/certs/http_ca.crt -u "elastic:ohCxPH=QBE+s5=*lo7F9" ......
ElasticSearch之Health API
查看当前集群全部健康指标的信息，执行如下命令： curl -X GET "https://localhost:9200/_health_report?pretty" --cacert $ES_HOME/config/certs/http_ca.crt -u "elastic:ohCxPH=QBE+s ......
ElasticSearch之cat aliases API
执行aliases命令，如下： curl -X GET "https://localhost:9200/_cat/aliases?pretty&v=true" --cacert $ES_HOME/config/certs/http_ca.crt -u "elastic:ohCxPH=QBE+s5=* ......
ElasticSearch的日志配置
ElasticSearch默认情况下使用Log4j2来记录日志，日志配置文件的路径为$ES_HOME/config/log4j2.properties，配置方法见Log4j2的官方文档。 参考path-settings，通过指定path.logs，可以指定日志文件的保存路径。 在日志配置文件$ES_ ......
【主流技术】详解 Spring Boot 2.7.x 集成 ElasticSearch7.x 全过程（二）
ElasticSearch 简称 es，是一个开源的高扩展的分布式全文检索引擎，目前最新版本已经到了8.11.x了。
它可以近乎实时的存储、检索数据，且其扩展性很好，是企业级应用中较为常见的检索技术。
下面主要记录学习 ElasticSearch7.x 的一些基本结构、在Spring Boot ... ......
反电诈指南：如何通过技术手段精准有效的识别银行卡出租出售行为？
电信网络诈骗已成为一种普遍且危害性极大的犯罪行为。其中，银行卡和电话卡是诈骗者最常利用的工具。这些卡不仅被用于线上和线下的欺诈活动，还被不法分子通过各种手段租赁或购买。全国公安机关已启动了大规模的打击行动，持续深入开展“断卡”行动，严打出租出售“两卡”行为。 非法出租出售的行为并非简单的现象。其背后 ......
ElasticSearch之安装
参照Installing Elasticsearch，完成验证集群的部署。 操作步骤 下载软件包和摘要文件。 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.11.1-linux-x86_64.tar ......
现代科技手段在城市交通领域的应用：地铁列车可视化
随着城市化进程的不断加速，地铁作为一种便捷、快速的城市交通方式，受到了越来越多人的青睐。地铁列车可视化，作为地铁运营管理中的一项重要工作，不仅可以提高列车运行效率和安全性，还可以为乘客提供更加舒适、便捷的乘车体验。 什么是地铁列车可视化？ 地铁列车可视化，是指通过现代科技手段，对地铁列车运行状态、车 ......
Lightsail VPS 实例在哪些方面胜过 EC2 实例？
Lightsail VPS 实例和 EC2 实例是云计算领域中两种受欢迎的技术。虽然两者都提供虚拟服务器解决方案，但了解 Lightsail VPS 实例在哪些方面胜过 EC2 实例非常重要。在本文中，我们将探讨这两种技术之间的关键区别，并突出使用 Lightsail VPS 实例的优势。 ......
Elasticsearch 系列（二）- ES的基本概念
本章将和大家分享 Elasticsearch 的一些基本概念。话不多说，下面我们直接进入主题。 一、什么是Lucene Lucene是Apache的开源搜索引擎类库，提供了搜索引擎的核心API。 1、Lucene的优势：易扩展、高性能（基于倒排索引） 2、Lucene的缺点：只限于Java语言开发、 ......
Node.js精进（12）——ElasticSearch
ElasticSearch（简称 ES）是一款基于 Lucene 的分布式、可扩展、RESTful 风格的全文检索和数据分析引擎，擅长实时处理 PB 级别的数据。 一、基本概念 1）Lucene Lucene 是一款开源免费、成熟权威、高性能的全文检索库，是 ES 实现全文检索的核心基础，而检索的关 ......
Elasticsearch入门
1、什么是Elasticsearch？ Elasticsearch 是基于 Lucene 的 Restful 的分布式实时全文搜索引擎，每个字段都被索引并可被搜索，可以快速存储、搜索、分析海量的数据。全文检索是指对每一个词建立一个索引，指明该词在文章中出现的次数和位置。当查询时，根据事先建立的索引进 ......
org.elasticsearch.client.transport.NoNodeAvailableException: None of the configured nodes are available es端口号及集群名称
org.elasticsearch.client.transport.NoNodeAvailableException: None of the configured nodes are available elasticsearch有两个端口：http_port和transport.tcp.por ......
【ElasticSearch】数据迁移方案
一、需求背景 ES环境要从单机迁移到集群上面 现在已有的数据也要搬过去，有几个索引三四千万数据大概 二、实现方案 有两种，使用ElasticDump和LogStash的ES插件 1、ElasticDump迁移工具 相关资料 资料参考： https://blog.csdn.net/weixin_438 ......