elasticsearch索引mysql
elasticsearch实现简单的脚本排序(script sort)
1、背景 我有一堆学生数据，其中湖北省的学生需要排在所有数据的最前面。其余省正序排序，对于同一个省的数据，按照年龄倒序排序。 2、分析 对于上方的排序需求，湖北省的学生数据需要排在前端，但是湖北省并不是一个字段，那么这个时候改如何实现呢？对于这种场景我们很容易就想到需要脚本script sort来实 ......
MySql树形结构（多级菜单）查询设计方案
背景 又很久没更新了，很幸运地新冠引发了严重的上呼吸道感染，大家羊过后注意休息和防护 工作中（尤其是传统项目中）经常遇到这种需要，就是树形结构的查询（多级查询），常见的场景有：组织架构（用户部门）查询 和 多级菜单查询 比如，菜单分为三级，一级菜单、二级菜单、三级菜单，要求用户按树形结构把各级菜单查 ......
通过Canal将云上MySQL数据同步到华为云ES(CSS)中
背景: A部门想将mysql中多张表join成一个sql查询语句,然后将结果同步到es中供搜索使用 环境信息: 源端mysql在阿里云上,有公网ip 目标端es在华为云上,三节点 操作步骤与目的: 配置MySQL供canal访问 1.由于阿里云的rds一般都配置了白名单,因此需要将后续canal所在 ......
Java中Elasticsearch 实现分页方式(三种方式)
目录 ES 简介 ES 的特点： 一、from + size 浅分页 二、scroll 深分页 scroll删除 三、search_after 深分页 ES 简介 Elasticsearch 是一个基于 Lucene 实现的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于 RESTful ......
ElasticSearch必知必会-进阶篇
京东物流：康睿 姚再毅 李振 刘斌 王北永 说明：以下全部均基于elasticsearch8.1 版本 一.跨集群检索 - ccr 官网文档地址： https://www.elastic.co/guide/en/elasticsearch/reference/8.1/modules-cross-cl ......
MySQL性能优化浅析及线上案例
关于数据库的性能优化其实是一个很复杂的大课题，很难通过一篇帖子讲的很全面和深刻，这也就是为什么我的标题是‘浅析’，程序员的成长一定是要付出代价和成本，因为只有真的在一线切身体会到当时的紧张和压力，对于一件事情才能印象深刻，但反之也不能太过于强调代价，如果可以通过一些别人的分享就可以规避一些自己业务的... ......
Curve 文件存储在 Elasticsearch 冷热数据存储中的应用实践
Elasticsearch在生产环境中有广泛的应用，本文介绍一种方法，基于网易数帆开源的Curve文件存储，实现Elasticsearch存储成本、性能、容量和运维方面的显著提升。 ES 使用 CurveFS 的四大收益 1.CurveFS提供的成本优势 为了高可靠，ES如果使用本地盘的话一般会使用 ......
docker搭建Elasticsearch、Kibana、Logstash 同步mysql数据到ES
一、前言 在数据量大的企业级实践中，Elasticsearch显得非常常见，特别是数据表超过千万级后，无论怎么优化，还是有点力不从心！使用中，最首先的问题就是怎么把千万级数据同步到Elasticsearch中，在一些开源框架中知道了，有专门进行同步的！那就是Logstash 。在思考，同步完怎么查看 ......
elasticsearch之单请求多查询
一、需要解决的问题 有的时候我们需要同时执行多个查询，并且需要得到每个单独查询的搜索结果，elasticsearch提供了multi search此需求的支持； 二、elasticsearch multi search简介 elasticsearch提供了multi search api来支持一个请 ......
SQLSERVER 的复合索引和包含索引到底有啥区别？
一：背景 1. 讲故事 在 SQLSERVER 中有非常多的索引，比如：聚集索引，非聚集索引，唯一索引，复合索引，Include索引，交叉索引，连接索引，奇葩索引等等，当索引多了之后很容易傻傻的分不清，比如：复合索引 和 Include索引，但又在真实场景中用的特别多，本篇我们就从底层数据页层面厘清 ......
SQLSERVER 的主键索引真的是物理有序吗？
一：背景 1. 讲故事 最近在看 SQL SERVER 2008 查询性能优化，书中说当一个表创建了聚集索引，那么表中的行会按照主键索引的顺序物理排列，这里有一个关键词叫：物理排列，如果不了解底层原理，真的会被忽悠过去，其实仔细想一想不可能实现严格的 物理排列 ，那对性能是非常大的损害，本篇我们就从 ......
elasticsearch之metric聚合
1、背景 此篇文章简单的记录一下 elasticsearch的metric聚合操作。比如求 平均值、最大值、最小值、求和、总计、去重总计等。 2、准备数据 2.1 准备mapping PUT /index_person { "settings": { "number_of_shards": 1 }, ......
（四）elasticsearch 源码之索引流程分析
1.概览 前面我们讨论了es是如何启动，本文研究下es是如何索引文档的。 下面是启动流程图，我们按照流程图的顺序依次描述。 其中主要类的关系如下: 2. 索引流程 (primary) 我们用postman发送请求，创建一个文档 我们发送的是http请求，es也有一套http请求处理逻辑，和sprin ......
关于 MySQL 嵌套子查询中，无法关联主表字段问题的折中解决方法
今天在工作中写项目的时候，遇到了一个让我感到几乎无解的问题，在转换了思路后，想出了一个折中的解决方案，记录如下。 其实，问题的场景，非常简单： 就是需要查询出上图的数据，红框是从 项目产品表 中查询的2个字段，绿框是从与项目产品表关联的 文章表 中查询出的1个字段。我希望实现的效果是，获取到项目产品 ......
Mysql索引覆盖
通常情况下，我们创建索引的时候只关注 where 条件，不过这只是索引优化的一个方向。优秀的索引设计应该纵观整个查询，而不仅仅是 where 条件部分，还应该关注查询所包含的列。索引确实是一种高效的查找数据方式，但是 mysql 也可以从索引中直接获取数据，这样就不在需要读数据行了。 ......
MySql索引下推知识分享
作者：刘邓忠 Mysql 是大家最常用的数据库，下面为大家带来 mysql 索引下推知识点的分享，以便巩固 mysql 基础知识，如有错误，还请各位大佬们指正。 1 什么是索引下推 索引下推 (Index Condition Pushdown，索引条件下推，简称 ICP)，是 MySQL5.6 版本 ......
Elasticsearch查询及聚合类DSL语句宝典
随着使用es场景的增多，工作当中避免不了去使用es进行数据的存储，在数据存储到es当中以后就需要使用DSL语句进行数据的查询、聚合等操作，DSL对SE的意义就像SQL对MySQL一样，学会如何编写查询语句决定了后期是否能完全驾驭ES，所以至关重要，本专题主要是分享常用的DSL语句，拿来即用。 ......
深入理解 MySQL 的事务隔离级别和 MVCC 机制
前言 我们都知道 MySQL 实现了 SQL 标准中的四个隔离级别，但是具体是如何实现的可能还一知半解，本篇博客将会从代码层面讲解隔离级别的实现方式，下面进入正题。 事务 考虑这样一个场景：博主向硝子酱的微信转了 520 块钱，在余额充足的正常情况下博主的账户余额会少 520 块，而硝子酱则会多 5 ......
Window系统的mysql数据库定时备份
原文：Window系统的mysql数据库定时备份 - Stars-One的杂货小窝 最近老大提到了数据库备份的功能，由于服务器是window系统的，所以研究了下备份的方案，特此记录 主要是实现每天定时备份功能，如果还要搞容灾的话，就得对mysql数据库进行主从配置了 cmd命令 核心的cmd命令如下 ......
一键部署MySQL8+keepalived双主热备高可用
概述 本次的文章会格外的长，网上大多的配置流程已经不可使用，本篇文章可以称为保姆级教程，而且通过shell脚本大大减少了部署mysql主从，双主的工作量。 如上图，VIP地址为192.168.10.100，如果主机192.168.10.129挂了，会自动切换到备机192.168.10.130上，由于 ......
一文聊透Apache Hudi的索引设计与应用
Hudi索引在数据读和写的过程中都有应用。读的过程主要是查询引擎利用MetaDataTable使用索引进行Data Skipping以提高查找速度;写的过程主要应用在upsert写上，即利用索引查找该纪录是新增（I）还是更新(U)，以提高写入过程中纪录的打标（tag）速度。 MetaDataTabl ......
实时采集MySQL数据之轻量工具Maxwell实操
一个用于企业应用支持实时增量采集和全量采集MySQL数据开源框架Maxwell，功能强于Canal，比Flink CDC更易用。本篇先了解其定义和原理，然后通过安装和环境准备，了解其启动的两种方式，最后实操演示几个maxwell在企业中常用的场景示例。 ......
elasticsearch global 、 filters 和 cardinality 聚合
1. 背景 此处将单记录一下 global 、 filters和cardinality的聚合操作。 2、解释 1、global global聚合是全局聚合，是对所有的文档进行聚合，而不受查询条件的限制。 global 聚合器只能作为顶级聚合器，因为将一个 global 聚合器嵌入另一个桶聚合器是没有 ......
MySQL空间暴涨150G导致锁定，发生了什么
背景 12月1号中午突然收到大量报警，某客户环境操作数据库大量失败，报错信息如下图所示： 这个报错我是第一次见，一时间有点无所适从，但是从字面意思来看是MySQL目前处于LOCK_WRITE_GROWTH状态，拒绝执行当前的语句，一定是MySQL出问题了。 初定位 我随即登录阿里云控制台查看MySQ ......
深入解读MySQL InnoDB存储引擎Update语句执行过程
参考b站up 戌米的论文笔记 https://www.bilibili.com/video/BV1Tv4y1o7tA/ 书籍《mysql是怎样运行的》 极客时间《mysql实战45讲》 系列文章目录和关于我 一丶Mysql整体架构 MySQL 可以分为 Server 层和存储引擎层两部分 1.Ser ......
一步步带你设计MySQL索引数据结构
前言 MySQL的索引是一个非常重要的知识点，也基本上是面试必考的一个技术点，所以非常重要。那你了解MySQL索引的数据结构是怎么样的吗？为什么要采用这样的数据结构？ 现在化身为MySQL的架构师，一步步迭代设计出MySQL的索引结构，保证你再也忘记不了索引的结构了，轻松通过面试。 索引介绍 MyS ......
MYSQL-INNODB索引构成详解
作者：郑啟龙 摘要： 对于MYSQL的INNODB存储引擎的索引，大家是不陌生的，都能想到是 B+树结构，可以加速SQL查询。但对于B+树索引，它到底“长”得什么样子，它具体如何由一个个字节构成的，这些的基础知识鲜有人深究。本篇文章从MYSQL行记录开始说起，层层递进，包括数据页，B+树聚簇索引，B ......
Elasticsearch Head插件使用小结
作者：崔雄华 1 Elasticsearch Head是什么 ElasticSearch head就是一款能连接ElasticSearch搜索引擎，并提供可视化的操作页面对ElasticSearch搜索引擎进行各种设置和数据检索功能的管理插件，如在head插件页面编写RESTful接口风格的请求，就 ......
《MySQL必知必会》之快速入门存储过程
使用存储过程 本章介绍什么是存储过程，为什么使用、如何使用，并介绍如何创建和使用存储过程的基本语法 存储过程 在实际应用中，往往需要执行多个表的多条sql语句 存储过程就是为以后的使用而保存的一条或者多条sql语句的集合 使用存储过程的好处：简单、安全、高性能 创建存储过程 需求：一个返回产品平均价 ......
MySQL中这14个牛逼的功能，惊艳到我了！！！
前言 我最近几年用MYSQL数据库挺多的，发现了一些非常有用的小玩意，今天拿出来分享到大家，希望对你会有所帮助。 1.group_concat 在我们平常的工作中，使用group by进行分组的场景，是非常多的。 比如想统计出用户表中，名称不同的用户的具体名称有哪些？ 具体sql如下： select ......