quot elasticsearch distinct count
Input源码解读——从"Show tabs"开始
Input源码解读——从"Show tabs"开始 本文基于Android T版本源码，梳理当用户在开发者选项中开启Show tabs功能后显示第点按操作的视觉反馈的原理，来进一步了解Android Input系统 Settings 写入设置 首先是设置应用(Settings)提供的开发者选项画面响 ......
elasticsearch实现基于拼音搜索
1、背景 一般情况下，有些搜索需求是需要根据拼音和中文来搜索的，那么在elasticsearch中是如何来实现基于拼音来搜索的呢？可以通过elasticsearch-analysis-pinyin分析器来实现。 2、安装拼音分词器 # 进入 es 的插件目录 cd /usr/local/es/ela ......
elasticsearch实现简单的脚本排序(script sort)
1、背景 我有一堆学生数据，其中湖北省的学生需要排在所有数据的最前面。其余省正序排序，对于同一个省的数据，按照年龄倒序排序。 2、分析 对于上方的排序需求，湖北省的学生数据需要排在前端，但是湖北省并不是一个字段，那么这个时候改如何实现呢？对于这种场景我们很容易就想到需要脚本script sort来实 ......
Java中Elasticsearch 实现分页方式(三种方式)
目录 ES 简介 ES 的特点： 一、from + size 浅分页 二、scroll 深分页 scroll删除 三、search_after 深分页 ES 简介 Elasticsearch 是一个基于 Lucene 实现的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于 RESTful ......
ElasticSearch必知必会-进阶篇
京东物流：康睿 姚再毅 李振 刘斌 王北永 说明：以下全部均基于elasticsearch8.1 版本 一.跨集群检索 - ccr 官网文档地址： https://www.elastic.co/guide/en/elasticsearch/reference/8.1/modules-cross-cl ......
Curve 文件存储在 Elasticsearch 冷热数据存储中的应用实践
Elasticsearch在生产环境中有广泛的应用，本文介绍一种方法，基于网易数帆开源的Curve文件存储，实现Elasticsearch存储成本、性能、容量和运维方面的显著提升。 ES 使用 CurveFS 的四大收益 1.CurveFS提供的成本优势 为了高可靠，ES如果使用本地盘的话一般会使用 ......
elasticsearch之单请求多查询
一、需要解决的问题 有的时候我们需要同时执行多个查询，并且需要得到每个单独查询的搜索结果，elasticsearch提供了multi search此需求的支持； 二、elasticsearch multi search简介 elasticsearch提供了multi search api来支持一个请 ......
docker搭建Elasticsearch、Kibana、Logstash 同步mysql数据到ES
一、前言 在数据量大的企业级实践中，Elasticsearch显得非常常见，特别是数据表超过千万级后，无论怎么优化，还是有点力不从心！使用中，最首先的问题就是怎么把千万级数据同步到Elasticsearch中，在一些开源框架中知道了，有专门进行同步的！那就是Logstash 。在思考，同步完怎么查看 ......
外包公司中的"炼狱"，极度摧残，避免踩坑。
引言 前些天羊了，一直没有更新。今天给大家聊聊两家外包公司，遇到的小伙伴避免踩坑。 咱不说那些虚的，什么尽量不要去外包公司，尽可能找甲方，这些谁都知道，肯定是因为一些原因（比如学历、项目经验、技术有待提升、大环境不好等）没有更好的选择，不得已才选择的外包。 咱就说只有外包offer的情况下，尽量避免 ......
elasticsearch之metric聚合
1、背景 此篇文章简单的记录一下 elasticsearch的metric聚合操作。比如求 平均值、最大值、最小值、求和、总计、去重总计等。 2、准备数据 2.1 准备mapping PUT /index_person { "settings": { "number_of_shards": 1 }, ......
（四）elasticsearch 源码之索引流程分析
1.概览 前面我们讨论了es是如何启动，本文研究下es是如何索引文档的。 下面是启动流程图，我们按照流程图的顺序依次描述。 其中主要类的关系如下: 2. 索引流程 (primary) 我们用postman发送请求，创建一个文档 我们发送的是http请求，es也有一套http请求处理逻辑，和sprin ......
Elasticsearch查询及聚合类DSL语句宝典
随着使用es场景的增多，工作当中避免不了去使用es进行数据的存储，在数据存储到es当中以后就需要使用DSL语句进行数据的查询、聚合等操作，DSL对SE的意义就像SQL对MySQL一样，学会如何编写查询语句决定了后期是否能完全驾驭ES，所以至关重要，本专题主要是分享常用的DSL语句，拿来即用。 ......
Flink mini-batch "引发" 的乱序问题
问题描述 近期业务反馈， 开启了 mini-batch 之后， 出现了数据不准的情况， 关掉了 mini-batch 之后， 就正常了， 因此业务方怀疑，是不是 Flink 的 mini-batch 存在 bug ？ 问题排查 初步分析 mini-batch 已经在内部大规模使用， 目前没有发现一例 ......
深度剖析 | 【JVM深层系列】[HotSpotVM研究系列] JVM调优的"标准参数"的各种陷阱和坑点分析（攻克盲点及混淆点）「 1 」
相信大多数人的理解是Major GC只针对老年代，Full GC会先触发一次Minor GC，不知对否？我参考了R大的分析和介绍，总结了一下相关的说明和分析结论。 ......
elasticsearch global 、 filters 和 cardinality 聚合
1. 背景 此处将单记录一下 global 、 filters和cardinality的聚合操作。 2、解释 1、global global聚合是全局聚合，是对所有的文档进行聚合，而不受查询条件的限制。 global 聚合器只能作为顶级聚合器，因为将一个 global 聚合器嵌入另一个桶聚合器是没有 ......
Elasticsearch Head插件使用小结
作者：崔雄华 1 Elasticsearch Head是什么 ElasticSearch head就是一款能连接ElasticSearch搜索引擎，并提供可视化的操作页面对ElasticSearch搜索引擎进行各种设置和数据检索功能的管理插件，如在head插件页面编写RESTful接口风格的请求，就 ......
mysql-DuplicateUpdate和java的threadpool的"死锁"
大家千万不要被文章的标题给迷惑了，他两在本篇文章是没有关系的， 今天给大家讲讲最近2个有意思的issue，分享一下我学到的 mysql DuplicateUpdate的用法要注意的点 java的threadpool使用不当会造成“死锁”问题 mysql DuplicateUpdate的用法要注意的点 ......
elasticsearch 之 histogram 直方图聚合
1. 简介 直方图聚合是一种基于多桶值聚合，可从文档中提取的数值或数值范围值来进行聚合。它可以对参与聚合的值来动态的生成固定大小的桶。 2. bucket_key如何计算 假设我们有一个值是32，并且桶的大小是5，那么32四舍五入后变成30，因此文档将落入与键30关联的存储桶中。下面的算式可以精确的 ......
elasticsearch bucket 之rare terms聚合
1、背景 我们知道当我们使用 terms聚合时，当修改默认顺序为_count asc时，统计的结果是不准备的，而且官方也不推荐我们这样做，而是推荐使用rare terms聚合。rare terms是一个稀少的term聚合，可以一定程度的解决升序问题。 2、需求 统计province字段中包含上和湖的 ......
elasticsearch 聚合之 date_histogram 聚合
1、背景 此处来简单学习一下 elasticsearch 的 date_histogram直方图聚合。它和普通的直方图histogram聚合差不多，但是date_histogram只可于 日期或日期范围 类型的值一起使用。 2、bucket_key如何计算 假设我们存在如下时间 2022-11-29 ......