es

ES部署+Kibana部署+IK分词器(单节点)

一、Elasticsearch 7.9.1官网下载地址:Elasticsearch ES 7.9.1,内置了 JDK,我是centos系统,下载LINUX X86_64 下载、解压、放到/usr/es/下 二、配置cd /usr/es && llvi /elasticsearch/config/el ......
节点 Kibana IK

ES6新特性

# ES6新特性 **ES6官方文档:** [https://es6.ruanyifeng.com](https://links.jianshu.com/go?to=http%3A%2F%2Fes6.ruanyifeng.com%2F%23docs%2Ffunction%23%E7%AE%AD%E5 ......
特性 ES6 ES

Python连接es笔记四之创建和删除操作

> 本文首发于公众号:Hunter后端 > 原文链接:[Python连接es笔记四之创建和删除操作](https://mp.weixin.qq.com/s/ZCe0JT9TDEiZI7M5dxC9qA) 这一篇笔记介绍一下索引和数据的创建和删除。 其实对于索引来说,如果可以接触到 kibana 的话 ......
笔记 Python

Es6 字符串方法

## Es6 字符串方法 实例方法:codePointAt() JavaScript 内部,字符以 UTF-16 的格式储存,每个字符固定为2个字节。对于那些需要4个字节储存的字符(Unicode 码点大于0xFFFF的字符),JavaScript 会认为它们是两个字符。 ``` var s = " ......
字符串 字符 方法 Es6 Es

淘宝太细了:mysql 和 es 的5个一致性方案,你知道吗?

文章很长,且持续更新,建议收藏起来,慢慢读![**疯狂创客圈总目录 博客园版**](https://www.cnblogs.com/crazymakercircle/p/9904544.html) 为您奉上珍贵的学习资源 : 免费赠送 :[**《尼恩Java面试宝典》**](https://www. ......
一致性 方案 mysql es

es2

1. 引依赖 spring-boot-starter-data-elasticsearch 2. 配置文件 spring.elasticsearch.rest.uris= ip:port 3. 在 bean 上加注解 @Document(name = "索引名"),索引名首字母小写。 在属性上加字段 ......
es2 es

Python连接es笔记三之es更新操作

> 本文首发于公众号:Hunter后端 > 原文链接:[Python连接es笔记三之es更新操作](https://mp.weixin.qq.com/s/1cTaVfjLFrmbXajNcayhEA) 这一篇笔记介绍如何使用 Python 对数据进行更新操作。 对于 es 的更新的操作,不用到 Se ......
笔记 Python

解决ES磁盘空间占用过高&fluentd日志积压严重问题

背景: 有场景会出现因没有关注到,导致es-data的磁盘使用占用超过85%,es 集群的默认配置是当集群中的某个节点磁盘达到使用率为 85% 的时候,就不会在该节点进行创建副本,当磁盘使用率达到 90% 的时候,尝试将该节点的副本重分配到其他节点。当磁盘使用率达到95% 的时候,当前节点的所有索引 ......
磁盘 fluentd 问题 日志 空间

批量解除es索引只读状态脚本

背景:elasticsearch磁盘超过80%后,会出现连接都正常,写接口也不报错,只是数据没有写入,当然也就无法查询到。 经过查找原因,原来磁盘超过80%后,es默认会变成只读模式,扩容后,也不会自动还原。 判断是否索引只读命令 curl -u admin:xxxxxxxxx -k https:/ ......
脚本 索引 状态

解决es存储的日志显示不完整问题

背景:通过服务的实时日志和从kibana中查询到的不一致,实时日志会显示的更多。 解决方法: 修改fluentd configmap 按照下图 的方式 ![](https://img2023.cnblogs.com/blog/2324652/202305/2324652-20230530155732 ......
问题 日志

ES无法启动_OOM_Exception in thread "main" java.lang.RuntimeException: starting java failed with [1]

##1.报错显示 ```java [root@iZ7xv2ya5ap2bnetr231koZ ~]# docker logs es Exception in thread "main" java.lang.RuntimeException: starting java failed with [1] ......

es mysql 适用场景对比

# es mysql 适用场景对比 ## 问题一 ### 全文检索毫无疑问直接上es,那么除了这种场景,什么时候该选es?为啥mysql不行? #### 对枚举字段的搜索 mysql创建索引的原则是对于那些区别度高字段建立索引,区别度越高的索引,在数据量大的情况下,索引效果越好。 因为mysql建立 ......
场景 mysql es

Python连接es笔记二之查询方式汇总

> 本文首发于公众号:Hunter后端 > 原文链接:[Python连接es笔记二之查询方式汇总](https://mp.weixin.qq.com/s/0Yn5c-U9pBWrSC5HrCgWog) 上一节除了介绍使用 Python 连接 es,还有最简单的 query() 方法,这一节介绍一下几 ......
方式 笔记 Python

ES中的索引生命周期管理

参考https://www.cnblogs.com/fat-girl-spring/p/14282311.html https://www.jianshu.com/p/217144c71724 应用场景:比如一个维表索引每天都有一个分区 但实际上并不需要那么多 需要删除前七天的索引,这个时候就可以设 ......
周期 索引 生命

数组方法ES5 + ES6

sort / reverse 主要用于排序,会影响原来数组。 const arr = [1, 2, 3] arr.sort(); // 正序 arr.reverse(); // 反序 arr.sort(() => 0.5 - Math.random()); // 乱序 splice 编辑元素,会影响 ......
数组 方法 ES ES5 ES6

Unity的IGenerateNativePluginsForAssemblies:深入解析与实用案例

# Unity IGenerateNativePluginsForAssemblies Unity是一款非常流行的游戏引擎,它支持多种平台,包括Windows、Mac、Linux、Android、iOS等。在Unity中,我们可以使用C#编写游逻辑,但是有些时候我们需要使用一些原生的代码来实现一些高 ......

Python连接es笔记一之连接与查询es

> 本文首发于公众号:Hunter后端 > 原文链接:[Python连接es笔记一之连接与查询es](https://mp.weixin.qq.com/s/smp3VvWD6ChuFVuotQ9_zg) 有几种方式在 Python 中配置与 es 的连接,最简单最有用的方法就是定义一个默认的连接,如 ......
笔记 Python

es笔记七之聚合操作之桶聚合和矩阵聚合

> 本文首发于公众号:Hunter后端 > 原文链接:[es笔记七之聚合操作之桶聚合和矩阵聚合](https://mp.weixin.qq.com/s/SFiLEtnUqxncL-ZQj1zqgg) 桶(bucket)聚合并不像指标(metric)聚合一样在字段上计算,而是会创建数据的桶,我们可以理 ......
矩阵 笔记

ES查询时response.getHits().getTotalHits()获取总数始终为0

版本说明: es版本 7.16.3版本 es查询java es-client maven版本 6.8.0/6.8.6 查询es数据时候 查询response.getHits().getTotalHits()总数始终为0 修改方案: es版本api的版本对应升级成7.16.3 通过es CountRe ......
getTotalHits response 总数 getHits

es笔记六之聚合操作之指标聚合

> 本文首发于公众号:Hunter后端 > 原文链接:[es笔记六之聚合操作之指标聚合](https://mp.weixin.qq.com/s/UyiZ2bzFxi7zCGmL1Xf3CQ) 聚合操作,在 es 中的聚合可以分为大概四种聚合: * bucketing(桶聚合) * mertic(指标 ......
指标 笔记

es.php

setHosts(['192.168.133.131'])->build(); //如果es设置了密码 // $es = \Elasticsearch\ClientBuilder::create()->setHosts(['http://username:password@192.168.133.1 ......
php es

ES历史版本下载

#### 地址 1. URL * [点击跳转](https://www.elastic.co/cn/downloads/past-releases#elasticsearch) 2. 视图 > ![](https://img2023.cnblogs.com/blog/1756476/202305/1 ......
版本 历史

es之增删改查

# 查询 index: GET task_results/_search/ 普通查询: { "query": { "bool": { "must": [ {"match": {"task_id": "1363bb4a03e0ee456345edc70b381f04e01064a42773576e3f ......

es笔记五之term-level的查询操作

> 本文首发于公众号:Hunter后端 > 原文链接:[es笔记五之term-level的查询操作](https://mp.weixin.qq.com/s/MiJx-uMTke3zAwVu6-36QA) 官方文档上写的是 term-level queries,表义为基于准确值的对文档的查询,可以理解 ......
term-level 笔记 level term

ES定期清理日志

定期清理日志脚本 [root@ELK ~]# cat /root/jws/indexclean.sh #!/bin/bash #清理的主机地址 dst_ip=1.1.1.1 # 需要清理几天以前的索引日志 CLEAN_DAY=90 # 获取N天以前的年月日 YEAR=$(date -d "$(dat ......
日志

api&es6知识点汇总,持续更新中

Api 1. 获取dom元素 const x = document.querySelector('选择器') querySelectorAll返回的是伪数组 2. 操作元素内容 对象.innerText 对象.innerHTML 会解析标签 3. 操作元素样式属性 1. style <script> ......
知识点 知识 api amp es6

Python 操作ES

1.安装pip 参考地址:https://blog.51cto.com/wangshiyu/5267092 要指定版本,否则运行代码回报错。 pip install elasticsearch==7.13.0 -i http://pypi.doubanio.com/simple/ --trusted ......
Python

es笔记四之中文分词插件安装与使用

> 本文首发于公众号:Hunter后端 > 原文链接:[es笔记四之中文分词插件安装与使用](https://mp.weixin.qq.com/s/aQuwrUzLZDKLv_K8dKeVzw) 前面我们介绍的操作及演示都是基于英语单词的分词,但我们大部分使用的肯定都是中文,所以如果需要使用分词的操 ......
插件 笔记

配置SSL、TLS以及HTTPS来确保es、kibana、beats、logstash的安全

ssl分步骤 1、准备工作 为每台机器配置hosts 192.168.1.234 node01192.168.1.233 node02192.168.1.240 node03192.168.1.241 logstash01192.168.1.242 logstash02192.168.1.243 f ......
logstash kibana HTTPS beats SSL

es笔记三之term,match,match_phrase 等查询方法介绍

> 本文首发于公众号:Hunter后端 > 原文链接:[es笔记三之term,match,match_phrase 等查询方法介绍](https://mp.weixin.qq.com/s/3tzD8dEr592WNJFH_1bKRw) 首先介绍一下在 es 里有两种存储字符串的字段类型,一个是 ke ......
match match_phrase 笔记 方法 phrase