elasticsearch mysql
MySQL索引详解
1、联合索引 使用表中的多个字段创建索引，就是 联合索引，也叫 组合索引 或 复合索引。 以 score 和 name 两个字段建立联合索引： ALTER TABLE `cus_order` ADD INDEX id_score_name(score, name); 2、最左前缀匹配原则 最左前缀匹 ......
MySQL高性能优化规范建议总结
1、优先选择符合存储需要的最小的数据类型，因为存储字节越小，占用也就空间越小，性能也越好。 a.某些字符串可以转换成数字类型存储比如可以将 IP 地址转换成整型数据。 b.对于非负型的数据 (如自增 ID,整型 IP，年龄) 来说,要优先使用无符号整型来存储。 c.小数值类型（比如年龄、状态表示如 ......
MySQL三大日志，mvcc、DateTime 类型等
1、MySQL事务隔离级别详解 解决幻读的方法 解决幻读的方式有很多，但是它们的核心思想就是一个事务在操作某张表数据的时候，另外一个事务不允许新增或者删除这张表中的数据了。解决幻读的方式主要有以下几种： 将事务隔离级别调整为 SERIALIZABLE 。 在可重复读的事务级别下，给事务操作的这张表添 ......
图像化数据库工具DBeaver远程连接云服务器的MySQL数据库
一、安装宝塔面板 使用xshell、electerm、SecureCRT等远程终端连接登陆上云服务器，在Linux宝塔面板使用脚本安装 安装后，如下图：按照提示，在云服务器防火墙/安全组放行Linux宝塔面板的端口 在浏览器打开上述网址，登录Linux宝塔面板： 二、安装MySQL 在Linux宝塔 ......
python使用Scrapy插入数据到MySql报错 Incorrect string value: ‘\\xF0\\x9F\\"错误
👍🏻这样的字符，插入失败 这个问题，原因是UTF-8编码有可能是两个、三个、四个字节。Emoji表情或者某些特殊字符是4个字节，而Mysql的utf8编码最多3个字节，所以数据插不进去。 Window下phpstudy 1、设置服务端，编码为utf8mb4 2、设置数据库和表字符校对为utf8m ......
mysql中的utf8mb4、utf8mb4_unicode_ci、utf8mb4_general_ci
1.utf8与utf8mb4（utf8 most bytes 4） MySQL 5.5.3之后增加了utfmb4字符编码 支持BMP（Basic Multilingual Plane，基本多文种平面）和补充字符 最多使用四个字节存储字符 utf8mb4是utf8的超集并完全兼容utf8，能够用四个字 ......
终于卷完了！MySQL 打怪升级进阶成神之路（2023 最新版）！
从第一篇文章开始，我们逐步详细介绍了 MySQL 数据库的基础知识，如：数据类型、存储引擎、性能优化（软、硬及sql语句），MySQL 数据库的高可用架构的部分，如：主从同步、读写分离的原理与实践、跨城容灾、数据的备份与恢复等，然后介绍了 MySQL 的管理命令、数据库语言的命令、库与表的管理工具、 ......
Mysql创建数据库字符集的选择
字符集选择 在国内正常都是用【UTF-8】 排序选择 排序一般分为两种：utf_bin和utf_general_ci bin 是二进制, a 和 A 会别区别对待. utf8_general_ci 【不区分大小写】，这个你在注册用户名和邮箱的时候就要使用。 utf8_general_cs 【区分大小 ......
MySQL运维实战（2）MySQL用户和权限管理
作者：俊达 引言 MySQL数据库系统，拥有强大的控制系统功能，可以为不同用户分配特定的权限，这对于运维来说至关重要，因为它可以帮助管理员控制用户对数据库的访问权限。用户管理涉及创建、修改和删除数据库用户，权限管理则控制用户对数据库的访问和操作。MySQL提供了灵活的权限控制机制，允许管理员根据需要 ......
9解决elasticsearch深度分页问题
前面说到，分页可以使用from和size参数，类似于mysql的分页offset和limit。但是如果数据量比较大时，elasticsearch会对分页做出限制，因为此时会比较消耗性能。 为什么要限制 分页的时候，elasticsearch会根据查询条件到每个分片取出数据来，然后再由coordina ......
7.elasticsearch重建索引
什么时候需要重建索引 索引的mappings发生变更 索引的setting发生变更 集群内，集群间，需要做数据迁移 update by query 在现有索引重建 比如需要给一个text新增一个子字段，用english分词器。那么新添加的数据会被索引，之前的数据不会被索引。此时可以用_update_ ......
4.elasticsearch中查询条件
目录一、URI查询指定字段、泛查询分组和phraseBool条件must条件范围查询通配符查询正则表达式模糊匹配与近似查询二、RequestBody&DSLignore_unavailableprofileexplainqueryfrom、sizesort_sourcescript_fieldsma ......
5.elasticsearch中聚合查询
elasticsearch聚合查询 什么是聚合，就是目的不是查询具体的文档，而是查询文档的相关性，此外还可以对聚合的文档在按照其他维度再聚合。 包含以下四种聚合 Bucket Aggregation 一些列满足特定条件的文档的集合 terms 对某个字段统计每个不同的内容，以及出现文档的个数 ran ......
6.elasticsearch中search template和alias
什么是search template 顾名思义，查询模版，就是提前设定好查询的DSL，再次查询时，只需要指定对应的模版，然后传入相应的参数就好。一是可以每次不用构建复杂的DSL，二是可以供开发直接使用查询DSL模版，减少学习和对接成本。 有如下两种方法 一、创建脚本_script/template, ......
mysql的数据迁移到es中
背景 从开发的角度说，就是老板叫我用es了，没那么多为什么，爸爸说了算 😂 从业务角度，mysql已经不能满足我对全文检索的需求了。我需要检索某一个字段包含"圣诞节刚刚过去"这一字符串的记录。这对mysql是个很头疼的问题，但在es中，是个很简单的事。 此外es结合kibana还能实现很多数据可视 ......
1.elasticsearch运行
在docker中运行elasticsearch、kibana 一、MacOs 首先需要安装doceker，提供两种方式，选一种方便的就好 1.命令行安装方式 安装命令行 xcode-select --install 安装homebrew /usr/bin/ruby -e "$(curl -fsSL ......
MySql版本问题sql_mode=only_full_group_by的完美解决方案
1、查看sql_modeselect @@sql_mode查询出来的值为：ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USE ......
2.elasticsearch中的mapping
mapping 顾名思义，代表了映射关系。是文档中字段和数据类型的映射关系 为什么要了解mapping 虽然elasticsearch中已尽有的动态mapping(Dynamic Mapping)，而且新增字段默认也会添加新的mapping，但是毕竟是机器，有时会推算的不对，比如地理位置信息，特殊格 ......
Mysql导入csv文件
需要将csv的数据导入mysql，最简单的方式就是使用navicat导入，方便快捷，适用于数据量较小的场景，但是如果碰到GB级别的大文件，直接通过navicat导入十分低效，可以采用mysql 提供的LOAD DATA语法进行导入，具体使用方式如下： LOAD DATA INFILE '/path/ ......
[转帖]MySQL数据库8.0.29-8.0.31版本使用 INSTANT 算法新增字段bug
https://www.cnblogs.com/harda/p/17528512.html xxx下发MySQL数据库共性隐患排查通知，要求统一排查MySQL数据库8.0.29及以后版本使用 INSTANT 算法新增字段后期变更回滚可能导致数据库宕机的隐患，排查方法及整改方法详见下表和附件。请各分支 ......
Mysql 事务隔离级别
Mysql 事务隔离级别 隔离级别 脏读 不可重复读 幻读 READ-UNCOMMITTED √ √ √ READ-COMMITTED × √ √ REPEATABLE-READ × × √ SERIALIZABLE × × × MySQL InnoDB 存储引擎的默认支持的隔离级别是 REPEAT ......
mysql的skip_name_reslove会影响什么，这个参数干什么用的？
skip_name_resolve是MySQL的一个配置参数，用于控制MySQL服务器在解析客户端连接时是否进行反向DNS查找。当启用skip_name_resolve时，MySQL服务器将不会尝试通过反向DNS查找来解析客户端的主机名。 启用skip_name_resolve参数可以带来以下影响和 ......
MySQL问题汇总
1. net start mysql 服务没有响应控制功能。解决方案下载 vcruntime140_1.dll（自行搜索下载）放在mysql安装路径\bin目录下MySQL 服务正在启动 .MySQL 服务已经启动成功。 ......
MySQL的MHA高可用配置及故障切换
MHA高可用 MHA（MasterHigh Availability） 传统MySQL主从架构存在单点故障问题 ，怎么解决呢？ 传统上是根据keepalived来实现高可用 目前还有个较成熟的软件MHA，它可以在切换的过程中最大程度上保证数据的一致性，以达到真正意义上的高可用 mysql 集群高可用 ......
MySQL MHA
MHA 实验 主 192.168.19.25 （MySQL1） 从192.168.19.26 （MySQL2） 从192.168.19.29 （MySQL3） 监控管理 192.168.19.21 （manager） #配置mysql配置文件 #在 Master、Slave1、Slave2 节点上都 ......
MySQL中between...and的使用对索引的影响
问题场景： 一开始在某个字段加了普通索引，SQL语句查找该字段范围内的数据。开始加索引的时候是能使用上索引的，但是过了几天，数据量增大，发现检索语句没有走索引了 准备测试表 创建测试表 CREATE TABLE `test_index` ( `id` int(10) UNSIGNED NOT NUL ......
Asp .Net Core系列：基于MySQL的DBHelper帮助类和SQL Server的DBHelper帮助类
目录MySQLDBHelperMSSQLDBHelper MySQLDBHelper app.config中添加配置 <connectionStrings> <add name="MySqlConn" connectionString="server=localhost;port=3306;user ......
Elasticsearch对接MinIO存储Snapshot快照
服务器配置 MinIO集群节点(4节点) IP 节点1 miniotest1.ip.tp-link.com 172.29.145.80 生产环境需要增加一个Nginx负载均衡前端用于ELK对接，此处直接对接节点1 ELK集群（3节点） Elasticsearch版本为7.17.12 iamdemo1 ......
MySQL索引篇
1、索引原理： 索引是帮助MySQL高效获取数据的数据结构。 索引好比是一本书的目录，可以直接根据页码找到对应的内容，目的就是为了加快数据库的查询速度。 索引是对数据库表中一列或多列的值进行排序的一种结构，使用索引可快速访问数据库表中的特定信息。 索引是一种能帮助mysql提高了查询效率的数据结构： ......
spark-scala-mysql 编译报错
用spark接收mysql数据，编译时报错 java: cannot access scala.Serializable class file for scala.Serializable not found 问题原因： scala 2.13及以上版本，缺少类 Serializable 解决： 使用 ......