elasticsearch术语 常用
【Django drf】 序列化类常用字段类和字段参数 定制序列化字段的两种方式 关系表外键字段的反序列化保存 序列化类继承ModelSerializer 反序列化数据校验源码分析
序列化类常用字段类和字段参数 常用字段类 # BooleanField BooleanField() # NullBooleanField NullBooleanField() # CharField CharField(max_length=None, min_length=None, allow ......
使用Logstash工具导入sqlserver数据到elasticSearch及elk分布式日志中心
首先记下这个笔记，Logstash工具导入sqlserver数据到elasticSearch。 因为logstash使用java写的，我本地开发是win11，所以javade jdk必须要安装。具体安装不介绍了，就是网上下个java8，不要去官网要账号什么的,不是java开发不太折腾，目前只用jav ......
elasticsearch实现基于拼音搜索
1、背景 一般情况下，有些搜索需求是需要根据拼音和中文来搜索的，那么在elasticsearch中是如何来实现基于拼音来搜索的呢？可以通过elasticsearch-analysis-pinyin分析器来实现。 2、安装拼音分词器 # 进入 es 的插件目录 cd /usr/local/es/ela ......
elasticsearch实现简单的脚本排序(script sort)
1、背景 我有一堆学生数据，其中湖北省的学生需要排在所有数据的最前面。其余省正序排序，对于同一个省的数据，按照年龄倒序排序。 2、分析 对于上方的排序需求，湖北省的学生数据需要排在前端，但是湖北省并不是一个字段，那么这个时候改如何实现呢？对于这种场景我们很容易就想到需要脚本script sort来实 ......
Java中Elasticsearch 实现分页方式(三种方式)
目录 ES 简介 ES 的特点： 一、from + size 浅分页 二、scroll 深分页 scroll删除 三、search_after 深分页 ES 简介 Elasticsearch 是一个基于 Lucene 实现的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于 RESTful ......
ElasticSearch必知必会-进阶篇
京东物流：康睿 姚再毅 李振 刘斌 王北永 说明：以下全部均基于elasticsearch8.1 版本 一.跨集群检索 - ccr 官网文档地址： https://www.elastic.co/guide/en/elasticsearch/reference/8.1/modules-cross-cl ......
Curve 文件存储在 Elasticsearch 冷热数据存储中的应用实践
Elasticsearch在生产环境中有广泛的应用，本文介绍一种方法，基于网易数帆开源的Curve文件存储，实现Elasticsearch存储成本、性能、容量和运维方面的显著提升。 ES 使用 CurveFS 的四大收益 1.CurveFS提供的成本优势 为了高可靠，ES如果使用本地盘的话一般会使用 ......
Anaconda和pip常用命令汇总：简单，通俗易懂
在通过一段时间的Python和anaconda的学习，总结了conda和pip的一些常用命令，很适合前期不用满世界找命令。 ......
elasticsearch之单请求多查询
一、需要解决的问题 有的时候我们需要同时执行多个查询，并且需要得到每个单独查询的搜索结果，elasticsearch提供了multi search此需求的支持； 二、elasticsearch multi search简介 elasticsearch提供了multi search api来支持一个请 ......
docker搭建Elasticsearch、Kibana、Logstash 同步mysql数据到ES
一、前言 在数据量大的企业级实践中，Elasticsearch显得非常常见，特别是数据表超过千万级后，无论怎么优化，还是有点力不从心！使用中，最首先的问题就是怎么把千万级数据同步到Elasticsearch中，在一些开源框架中知道了，有专门进行同步的！那就是Logstash 。在思考，同步完怎么查看 ......
PostgreSQL(02): PostgreSQL常用命令
目录 PostgreSQL(01): Ubuntu20.04/22.04 PostgreSQL 安装配置记录 PostgreSQL(02): PostgreSQL常用命令 PostgreSQL 常用命令 满足验证条件的用户, 可以用psql命令进入pg的命令行交互模式 用户管理相关 查看用户列表 \ ......
elasticsearch之metric聚合
1、背景 此篇文章简单的记录一下 elasticsearch的metric聚合操作。比如求 平均值、最大值、最小值、求和、总计、去重总计等。 2、准备数据 2.1 准备mapping PUT /index_person { "settings": { "number_of_shards": 1 }, ......
（四）elasticsearch 源码之索引流程分析
1.概览 前面我们讨论了es是如何启动，本文研究下es是如何索引文档的。 下面是启动流程图，我们按照流程图的顺序依次描述。 其中主要类的关系如下: 2. 索引流程 (primary) 我们用postman发送请求，创建一个文档 我们发送的是http请求，es也有一套http请求处理逻辑，和sprin ......
常用 Git 命令行操作
本文记录了一些常用 Git 命令行操作的具体使用方式 git clone git clone REPOSITORY_URL 拉取仓库，并使用仓库名作为本地文件名 git clone REPOSITORY_URL FOLDER 拉取仓库，并使用 FOLDER 作为本地文件名 git fetch git ......
C# 正则表达式常用的符号和模式解析
〇、正则表达式的基本语法符号 若只简单匹配固定字符串，则无需任何修饰符，例如：需要匹配字符串 77，则可直接写：new Regex("77")。 下边例举一下常用的符号：（知道下面这些，一般的正则表达式便可清晰异常） 符号 释义 示例 1 示例 2 \ 转义字符，互相转换一个具有特殊功能的字符 和一 ......
Elasticsearch查询及聚合类DSL语句宝典
随着使用es场景的增多，工作当中避免不了去使用es进行数据的存储，在数据存储到es当中以后就需要使用DSL语句进行数据的查询、聚合等操作，DSL对SE的意义就像SQL对MySQL一样，学会如何编写查询语句决定了后期是否能完全驾驭ES，所以至关重要，本专题主要是分享常用的DSL语句，拿来即用。 ......
MongoDB从入门到实战之MongoDB工作常用操作命令
前言： 上一章节我们快速的在Docker容器中安装了MongoDB，并且通过Navicat MongoDB可视化管理工具快速的连接、创建数据库、集合以及添加了文档数据源。这一章节我们主要是了解一下在日常工作中MongoDB一些常用的操作命令。 MongoDB从入门到实战的相关教程 MongoDB从入 ......
elasticsearch global 、 filters 和 cardinality 聚合
1. 背景 此处将单记录一下 global 、 filters和cardinality的聚合操作。 2、解释 1、global global聚合是全局聚合，是对所有的文档进行聚合，而不受查询条件的限制。 global 聚合器只能作为顶级聚合器，因为将一个 global 聚合器嵌入另一个桶聚合器是没有 ......
JVM常用调优参数
JVM内存模型及常用参数 参数解释 -XX:SurvivorRatio：新生代中Eden区与两个Survivor区的比值。注意Survivor区有两个。如：为3，表示Eden：Survivor=3:2，一个Survivor区占整个新生代的1/5 -XX:TargetSurvivorRatio：对象动 ......
有哪常用些浏览器/内核？
按照浏览器内核来看，Chromium内核的市场占有率无疑是最大的，一家独大。对于淘汰已久的IE浏览器，似乎不甘归于尘土，死不瞑目，依然为祸人间。相比全球占比率不足0.5%，IE在中国的占用率要高多了，达2%，看似好像不高。实际情况是还有不少不直接接入互联网的内网系统（如国企），并没有统计到。 ......
Spring中11个最常用的扩展点，你知道几个？
前言 在使用spring的过程中，我们有没有发现它的扩展能力很强呢？ 由于这个优势的存在，使得spring具有很强的包容性，所以很多第三方应用或者框架可以很容易的投入到spring的怀抱中。今天我们主要来学习Spring中很常用的11个扩展点，你用过几个呢？ 1. 类型转换器 如果接口中接收参数的实 ......
Elasticsearch Head插件使用小结
作者：崔雄华 1 Elasticsearch Head是什么 ElasticSearch head就是一款能连接ElasticSearch搜索引擎，并提供可视化的操作页面对ElasticSearch搜索引擎进行各种设置和数据检索功能的管理插件，如在head插件页面编写RESTful接口风格的请求，就 ......
从 Numpy+Pytorch 到 TensorFlow JS：总结和常用平替整理
demo展示 这是一个剪刀石头布预测模型，会根据最近20局的历史数据训练模型，神经网络输入为最近2局的历史数据。 如何拥有较为平滑的移植体验？ 保持两种语言，和两个框架的API文档处于打开状态，并随时查阅：Python，JavaScript；Pytorch，TensorFlow JS（用浏览器 F3 ......
elasticsearch 之 histogram 直方图聚合
1. 简介 直方图聚合是一种基于多桶值聚合，可从文档中提取的数值或数值范围值来进行聚合。它可以对参与聚合的值来动态的生成固定大小的桶。 2. bucket_key如何计算 假设我们有一个值是32，并且桶的大小是5，那么32四舍五入后变成30，因此文档将落入与键30关联的存储桶中。下面的算式可以精确的 ......
elasticsearch bucket 之rare terms聚合
1、背景 我们知道当我们使用 terms聚合时，当修改默认顺序为_count asc时，统计的结果是不准备的，而且官方也不推荐我们这样做，而是推荐使用rare terms聚合。rare terms是一个稀少的term聚合，可以一定程度的解决升序问题。 2、需求 统计province字段中包含上和湖的 ......
elasticsearch 聚合之 date_histogram 聚合
1、背景 此处来简单学习一下 elasticsearch 的 date_histogram直方图聚合。它和普通的直方图histogram聚合差不多，但是date_histogram只可于 日期或日期范围 类型的值一起使用。 2、bucket_key如何计算 假设我们存在如下时间 2022-11-29 ......
MySQL数据库：7、SQL常用查询语句
Python基础之MySQL数据库 一、SQL语句常用查询方法 前期数据准备 为了更加直观的展示、演示SQL语句查询关键字，需导入下列表格与记录（数据） 模拟公司，导入创建公司员工表，表内包含：ID、姓名、年龄、工作时间、岗位 创建人员表格: create table emp( id int ......
整理 js 日期对象的详细功能，使用 js 日期对象获取具体日期、昨天、今天、明天、每月天数、时间戳等，以及常用的日期时间处理方法
在 javascript 中内置了一个 Date 对象，可用于实现一些日期和时间的操作。
本文整理 js 日期对象的详细功能，使用 js 日期对象获取具体日期、昨天、今天、明天、每月天数、时间戳等，以及常用的日期时间处理方法。 ......
C# Math 中的常用的数学运算
〇、动态库 System.Math.dll 引入动态库 using System.Math; Math 为通用数学函数、对数函数、三角函数等提供常数和静态方法，使用起来非常方便，下边简单列一下常用的几种。 一、舍弃小数位处理 1. 四舍五入 Math.Round() Math.Round(74.5, ......