字段update_by_query elasticsearch kibana
Day1 - 大规模Elasticsearch集群管理心得（转）
转自：https://elasticsearch.cn/article/110 【携程旅行网 吴晓刚】 ElasticSearch目前在互联网公司主要用于两种应用场景，其一是用于构建业务的搜索功能模块且多是垂直领域的搜索，数据量级一般在千万至数十亿这个级别；其二用于大规模数据的实时OLAP，经典的如 ......
elasticsearch oom问题分析
背景 线上发现elasticsearch集群状态red，并且有个es节点jvm内存使用不断升高，直到gc后依然内存不够使用，服务停止。查看日志，elasticsearch出现OOM报错。 [2023-12-06T08:21:26,706][ERROR][o.e.b.ElasticsearchUnca ......
Elasticsearch专栏 集群管理
Elasticsearch 集群管理 简介 Elasticsearch 是一个开源的分布式搜索和分析引擎，用于处理大规模的结构化和非结构化数据。集群管理是确保 Elasticsearch 在生产环境中高效运行的关键任务之一。 集群基础知识 节点（Nodes）： Elasticsearch 集群由一个 ......
Elasticsearch专栏 基础知识
Elasticsearch 基础知识 1. 什么是 Elasticsearch？ Elasticsearch 是一个开源、分布式、实时搜索和分析引擎，建立在 Apache Lucene 基础之上。它提供了一个强大的 RESTful API，用于进行复杂的搜索和分析操作。 2. 核心概念 2.1 节点 ......
Elasticsearch专栏 集群分片管理
Elasticsearch 集群分片管理 简介 Elasticsearch 是一个分布式搜索和分析引擎，数据在集群中被分割成多个分片，以实现高性能和可伸缩性。在管理 Elasticsearch 集群时，分片的合理分配和监控是至关重要的。 分片基础知识 主分片（Primary Shard）： 每个索引 ......
Elasticsearch专栏 集群安全认证
Elasticsearch 集群安全认证 简介 Elasticsearch 的安全认证功能用于确保只有经过授权的用户才能访问集群和执行特定操作。这有助于保护集群中的数据和资源。 安全认证组件 1. X-Pack Security 插件 X-Pack 是 Elastic 提供的官方插件，包含了 Ela ......
[转帖]mysql8 ALGORITHM=INSTANT 亿级数据秒速增加字段
一、概述登录后复制 在线DDL之快速增加列（秒级别的），并不会造成业务抖动。该功能自 MySQL 8.0.12 版本引入，是由腾讯游戏DBA团队贡献，此功能只适用于 InnoDB 表。实际上MySQL 5.7就已支持 Online DDL，虽说大部分 DDL 不影响对表DML操作，但是依然会消耗非常 ......
elasticsearch集群red恢复损坏的索引
背景 客户磁盘损坏，修复磁盘后，重启机器，发现elasticsearch启动成功，ES状态正常green，但是历史数据都没有加载进，查看ES存储数据目录，发现数据还在。 解决方案 首先，需要确认indices目录下的lucene 索引正常。需要关闭ES（实际操作索引处于close状态也可以）。 # ......
pymysql遇到的坑，更新数据后，重新读取字段数据不更新
逻辑是这样的，判断一张表如果在指定时间内未更新数据，则结束循环。但是如果一直和数据库保持连接，会发现查询出来的结果一致不更新 原因在于： Mysql的存储引擎InooDB的事务隔离级别默认是 可重复读（Repeatable Read），例如A客户端事务未提交，而B客户端事务修改了数据，A客户端只能读 ......
9解决elasticsearch深度分页问题
前面说到，分页可以使用from和size参数，类似于mysql的分页offset和limit。但是如果数据量比较大时，elasticsearch会对分页做出限制，因为此时会比较消耗性能。 为什么要限制 分页的时候，elasticsearch会根据查询条件到每个分片取出数据来，然后再由coordina ......
7.elasticsearch重建索引
什么时候需要重建索引 索引的mappings发生变更 索引的setting发生变更 集群内，集群间，需要做数据迁移 update by query 在现有索引重建 比如需要给一个text新增一个子字段，用english分词器。那么新添加的数据会被索引，之前的数据不会被索引。此时可以用_update_ ......
4.elasticsearch中查询条件
目录一、URI查询指定字段、泛查询分组和phraseBool条件must条件范围查询通配符查询正则表达式模糊匹配与近似查询二、RequestBody&DSLignore_unavailableprofileexplainqueryfrom、sizesort_sourcescript_fieldsma ......
5.elasticsearch中聚合查询
elasticsearch聚合查询 什么是聚合，就是目的不是查询具体的文档，而是查询文档的相关性，此外还可以对聚合的文档在按照其他维度再聚合。 包含以下四种聚合 Bucket Aggregation 一些列满足特定条件的文档的集合 terms 对某个字段统计每个不同的内容，以及出现文档的个数 ran ......
6.elasticsearch中search template和alias
什么是search template 顾名思义，查询模版，就是提前设定好查询的DSL，再次查询时，只需要指定对应的模版，然后传入相应的参数就好。一是可以每次不用构建复杂的DSL，二是可以供开发直接使用查询DSL模版，减少学习和对接成本。 有如下两种方法 一、创建脚本_script/template, ......
1.elasticsearch运行
在docker中运行elasticsearch、kibana 一、MacOs 首先需要安装doceker，提供两种方式，选一种方便的就好 1.命令行安装方式 安装命令行 xcode-select --install 安装homebrew /usr/bin/ruby -e "$(curl -fsSL ......
字段 "table1.xxx" 必须出现在 GROUP BY 子句中或者在聚合函数中使用
这是一个语法错误，通常会在执行 SQL 查询时抛出异常或错误消息。 它的意思是指，对于 SELECT 语句中选定的某些列或表达式，必须在 GROUP BY 子句中显示列出这些列或表达式，或者将它们用作聚合函数（如 SUM、COUNT、AVG 等）的参数。如果这些列或表达式既没有在 GROUP BY ......
2.elasticsearch中的mapping
mapping 顾名思义，代表了映射关系。是文档中字段和数据类型的映射关系 为什么要了解mapping 虽然elasticsearch中已尽有的动态mapping(Dynamic Mapping)，而且新增字段默认也会添加新的mapping，但是毕竟是机器，有时会推算的不对，比如地理位置信息，特殊格 ......
[转帖]MySQL数据库8.0.29-8.0.31版本使用 INSTANT 算法新增字段bug
https://www.cnblogs.com/harda/p/17528512.html xxx下发MySQL数据库共性隐患排查通知，要求统一排查MySQL数据库8.0.29及以后版本使用 INSTANT 算法新增字段后期变更回滚可能导致数据库宕机的隐患，排查方法及整改方法详见下表和附件。请各分支 ......
Elasticsearch对接MinIO存储Snapshot快照
服务器配置 MinIO集群节点(4节点) IP 节点1 miniotest1.ip.tp-link.com 172.29.145.80 生产环境需要增加一个Nginx负载均衡前端用于ELK对接，此处直接对接节点1 ELK集群（3节点） Elasticsearch版本为7.17.12 iamdemo1 ......
ABAP Field-Symbols 字段符号
参考地址：[https://www.cnblogs.com/jiangzhengjun/p/4293262.html](https://www.cnblogs.com/jiangzhengjun/p/4293262.html) Field-Symbols 字段符号 在ABAP中，字段符号（Field ......
在Windows10部署kibana
环境说明 windows 10 x64 配套elasticsearch7.9.3的kibana-7.9.3（windows版） 可联通elasticsearch集群的机器 安装步骤 下载kibana-7.9.3-windows-x86_64（原站点慢可以走国内镜像站点），解压 下载地址：https: ......
Elasticsearch监控
Kibana集群监控 https://www.cnblogs.com/h--d/p/13192992.html 监控elasticsearch集群方案 https://www.cnblogs.com/1zhangwenjing/p/12312142.html#_label4 MetricBeat + ......
go gorm 更新的时候不会更新空字段
做个记录，gorm在更新字段的时候，如果字符串字段是空的，那么将不会更新到数据库。 在使用gorm将一个字段更新为空的时候，发现并不生效，不了解具体什么原因，所以此时需要打开debug模式，查看原生SQL是如何执行的。 type Student struct { Model Email string ......
Elasticsearch使用系列-ES简介和环境搭建
Elasticsearch使用系列-ES简介和环境搭建 目录 一、简介 二、Windows搭建ES 三、Linux搭建ES 四、Docker搭建ES Elasticsearch使用系列-ES简介和环境搭建 Elasticsearch使用系列-ES增删查改基本操作+ik分词 Elasticsearch ......
Oracle sql语句获取 字段为nunmber(18,4)类型数据 小数点后有3位的记录
sql: select LENGTH(t.pop_money), instr(t.pop_money, '.'), t.* from TB_DIET_WAREHOUSE_POP_LIST t where LENGTH(t.pop_money) - instr(t.pop_money, '.') > ......
mysql表的多字段作为唯一索引
找到对应表，设置多字段的唯一索引，下发数据库。 姓名+身份证号是唯一索引，进行验证： 场景一：允许出现相同证件号，不同姓名存储；也允许出现相同姓名，不同证件号存储。 场景二：不允许出现相同姓名和相同证件号存储（手动修改数据库数据相同，发现无法保存） 唯一索引，报错详细信息 ......
elasticsearch activemq 进程
[root@mvp1 ~]# ps -ef | grep elaes 23985 1 0 2023 ? 01:02:42 /opt/elasticsearch/jdk/bin/java -Xshare:auto -Des.networkaddress.cache.ttl=60 -Des.networ ......
【ElasticSearch】Scroll滚动查询
REST API Java Client BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery(); boolQueryBuilder.must(QueryBuilders.termQuery("enable", 1)); final ......
java使用@Builder时给某些字段设置默认值
在 Java 中，@Builder.Default 是 Lombok 注解库中的一个注解，主要用于在使用 Lombok 的 @Builder 注解时设置默认值。 @Builder 是 Lombok 提供的一个注解，可以自动生成符合Builder模式的构造器代码。当我们在类上使用 @Builder 注 ......