optimizer mysql trace
mysql大批量删除数据，工作记录
在10万记录的三张关系表中删除相对应的数据，三张表为层级嵌套关系 优化查询 目的：减少mysql数据库慢查询导致的长时间占据锁的情况出现 优化方向：将慢sql改为多次执行的快sql，避免长时间占用mysql资源情况出现 多表查询会用到的几种方式 连表查询 SELECT event_data.id F ......
[mysql][maxwell] maxwell无法连接mysql8.x，报错信息“Access Denied”
前提 使用mysql-maxwell-kafka进行增量同步的时候，kafka消费组没有得到任何消息。一个个排到最后才发现最核心的问题是mysql，麻了真的是。 kafka没问题 查进程，有两台机子的kafka未启动 打开日志，报错 org.apache.zookeeper.KeeperExcept ......
CentOS 安装 MySQL8，超详细！
CentOS 安装 MySQL8，超详细！ 一、离线安装MySQL 1. 检查是否已安装mysql rpm -qa | grep mysql 2. 卸载已安装的mysql rpm -ev mysql80-community-release-el7-7.noarch rpm -ev mysql-com ......
读高性能MySQL（第4版）笔记21_读后总结与感想兼导读
1. 基本信息 高性能MySQL：经过大规模运维验证的策略（第4版） High Performance MySQL, Fourth Edition [美] Silvia Botros(西尔维亚·博特罗斯)；Jeremy Tinley(杰里米·廷利) 电子工业出版社,2022年10月出版 1.1. 读 ......
Python 利用pandas和mysql-connector获取Excel数据写入到MySQL数据库
如何将Excel数据插入到MySQL数据库中 在实际应用中，我们可能需要将Excel表格中的数据导入到MySQL数据库中，以便于进行进一步的数据分析和处理。本文将介绍如何使用Python将Excel表格中的数据插入到MySQL数据库中。 导入必要的库 首先，我们需要导入pandas库和MySQL C ......
mysql 索引
1. 索引介绍 索引就是一种数据结构，类似于书的目录。意味着以后再查数据应该先找目录再找数据，而不是用翻页的方式查询数据 索引在MySQL中也叫做“键”，是存储引擎用于快速找到记录的一种数据结构。 primary key unique key index key 注意：上面三种key前两种除了有加速 ......
mysql
mysql 索引下推 个人认为 主要场景是组合索引上 idx_age_reward select * from t_user where age > 20 and reward = 100000; 联合索引当遇到范围查询 (>、<) 就会停止匹配，也就是 age 字段能用到联合索引，但是 rewar ......
Chromium Trace and Perfetto使用详解
1. Trace chromium 在 base 库中提供了 base::trace_event::TraceLog 类，该类是 TRACE_EVENT* ， TRACE_COUNTER* 等宏的底层实现，关于这些宏定义见 base/trace_event/common/trace_event_co ......
Mysql 删除数据重重复
一、背景 二、实现 查看表的重复数据条数 SELECT count(1) a,serial_no FROM `mud_weighbridge_record` GROUP BY serial_no HAVING a >1 ; 删除表的重复数据 DELETE t1 from mud_weighbridg ......
MYSQL中行记录格式的一些说明
MYSQL中，行记录的存储结构一般包括四部分： 变长字段长度列表 NULL值字段列表 记录头信息 记录的真实信息 变长字段长度列表是由多组两个字节组成的，因为MYSQL中规定行记录的最多占据的空间是65535个字节，所以使用两个字节的空间（0~2^16-1）就可以表示出某个变长字段使用空间的真实长度 ......
MySQL学习(10)基于规则的优化
前言 MySQL为了更高的执行效率，会将客户端发送的SQL语句进行优化。 条件化简 MySQL优化器会对SQL语句中的表达式进行简化处理，以提高执行效率。 移除不必要的括号。 常量传递。a = 5 AND b > a可优化为a = 5 AND b > 5。 移除没用的条件。优化器会移除掉明显为TRU ......
A clock IOB / clock component pair have been found that are not placed at an optimal clock IOB /
A clock IOB / clock component pair have been found that are not placed at an optimal clock IOB / clock site pair. The clock component <clk_IBUFG_BUFG> ......
mysql-基于GTID的binlog日志
一、什么是GTID 从 MySQL 5.6.5 开始新增了一种基于 GTID 的复制方式。 通过 GTID 保证了每个在主库上提交的事务在集群中有一个唯一的ID。 这种方式强化了数据库的主备一致性，故障恢复以及容错能力。 在原来基于二进制日志的复制中，从库需要告知主库要从哪个偏移量pos值进行增量同 ......
mysql-日志管理
一、mysql日志文件的作用 1、能记录物理数据页面的修改的信息； 2、能将数据从逻辑上恢复至事务之前的状态； 3、能以二进制文件的形式记录了数据库中的操作； 4、能记录错误的相关信息； 5、能从主服务器中二进制文件取的事件等等。 普通日志 记录了服务器接收到的每一个查询或是命令，无论这些查询或是命 ......
mysql 导入csv 文件
1. 获取 mysql 配置文件路径 mysqld --verbose --help | grep .cnf 2. mysqld 文件添加配置 [mysqld] ... secure-file-priv = "" 3. 建表 create table t_table ( bank_code text ......
Table does not support optimize, doing recreate + analyze instead
使用情况： 当您的库中删除了大量的数据后，您可能会发现数据文件尺寸并没有减小。这是因为删除操作后在数据文件中留下碎片所致。 OPTIMIZE TABLE只对MyISAM, BDB和InnoDB表起作用。 对于BDB表，OPTIMIZE TABLE目前被映射到ANALYZE TABLE上。 对于Inn ......
MySQL 8.2.0 GA
MySQL新的进化版8.2.0于2023年10月25日发行，让我们一起快速浏览一下该版本发生哪些变化。审计日志* 添加了新的“audit_log_filter_uninstall.sql”脚本，简化删除“MySQL Enterprise Audit”的过程。认证 * “mysql_native_pa ......
创建并运行一个MySQL容器，将宿主机目录直接挂载到容器
关键命令 docker run \ --name mysql \ -e MYSQL_ROOT_PASSWORD=123 \ -p 3306:3306 \ -v /tmp/mysql/conf/hmy.cnf:/etc/mysql/conf.d/hmy.cnf \ -v /tmp/mysql/data ......
mysql5.7启用ssl连接(windows版本)
环境:OS:windows2012Mysql:5.7.29 1.安装mysql安装步骤省略,mysql5.7默认安装都已经安装好了ssl的,并默认启用了的.证书在数据目录下 D:\mysql57\data D:\mysql57\data>dir 驱动器 D 中的卷是 新加卷 卷的序列号是 7603- ......
Sybench性能测试MySQL/TIDB
一、安装部署 1.1源码/包：https://github.com/akopytov/sysbench 1.2安装工具Sysbench1.0.20版本 切换root用户执行 方式一： - Debian/Ubuntu系统: curl -s https://packagecloud.io/install ......
本地docker搭 建开源MySQL审计平台 yearning
简单介绍： Yearning是一个轻量级的Web端的MySQL SQL语句审核平台，提供查询审计，SQL审核，SQL回滚，自定义工作流等多种功能。Yearning的前端是基于Vue.js构建的，它还提供SQL语法高亮、自动补全和智能提示、可视化等。 Yearning自身包含了一套通常适用的审核规范， ......
mysql统计 不含的月份补0
构造当前日期之前10天的日期表 可以把DAY换成 MONTH 构造需要的月份 不需要固定天数的 可以去掉limit SELECT @cdate := date_add( @cdate, INTERVAL - 1 DAY ) date FROM ( SELECT @cdate := date_add( ......
41 mysql 索引和慢查询优化
MySQL之索引原理与慢查询优化 阅读目录 一 介绍 二 索引的原理 三 索引的数据结构 四 聚集索引与辅助索引 五 MySQL索引管理 六 测试索引 七 正确使用索引 八 联合索引与覆盖索引 九 查询优化神器-explain 十 慢查询优化的基本步骤 十一 慢日志管理 一 介绍 为何要有索引? 一 ......
scrapy中爬虫数据如何异步存储mysql数据库jd
1. SQL CREATE TABLE `JDAll` ( `shop_id` VARCHAR (16) NOT NULL, //商品ID `url` VARCHAR (255) DEFAULT NULL, //商品url `title` VARCHAR (1024) DEFAULT NULL, / ......
MySQL函数right与left截取字符简介
如下 Right(str,length); Right(str,length) 功能从字符串右端取指定个数字符。 参数string：string类型，指定要提取子串的字符串；n：long类型，指定子串长度返回值String。函数执行成功时返回string字符串右边n个字符，发生错误时返回空字符串（" ......
MYSQL批量插入并发场景下的DEADLOCK
一、背景 公元2023-10-12(周四)上午，组内的亚梅反馈，用户生成标签报死锁异常 二、排查异常日志 查到当时报错的日志 具体异常信息如下 server-provider-info-2023-10-12.0.log:2023-10-12 09:40:50.593 [TID:bf623bded18 ......
事务，python连接mysql 索引等
1. python连接MySQL MySQL本身就是一款C/S架构，有服务端、有客户端，自身带了有客户端：mysql.exe python这门语言成为了MySQL的客户端(对于一个服务端来说，客户端可以有很多) """SQL的由来""" 操作步骤： 1. 先链接MySQL host、port、use ......
maven创建普通java项目访问mysql-mybatis
基础资料： 数据库：d1，表：t1，字段：xm，nl（即姓名、年龄），内容（'zs',20;'ls',18） 以下内容由官网“https://mybatis.org/mybatis-3/zh/getting-started.html”整理而来。不尽不实之处请参考官网原文。 思想： 1、在pom.xm ......
javaweb--mysql数据模型
关系型数据库 由多张可以相互连接的二维表组成的数据库 frm表文件 myd数据文件 注释 /**/ 多行注释 --和# 单行注释 四类语法 DDL数据定义语言 DML数据操作语言 DQL数据查询语言 DCL数据控制语言 原始数据库 information_schema存储数据库的基本信息，存储的库名 ......