增量logstash mysql

【MySQL】通过xenon实现数据库高可用集群

[root@node01 ~]# yum install -y golang screen git[root@node01 ~]# which ip /usr/sbin/ip [root@node01 ~]# visudo mysql ALL=(ALL) NOPASSWD:/usr/sbin/ip ......
集群 数据库 数据 MySQL xenon

Mysql Docker

Docker部署Mysql主从复制 在docker内部,mysql5.7 与mysql8.0 目录存放位置是不一样的 echo net.ipv4.ip_forward=1>>/etc/sysctl.conf sysctl -p service network restart systemctl re ......
Docker Mysql

mysql5.7奇怪bug

看这个查询很奇怪, 1145就错,子查询返回多于 1 行。。。 1就对。 1145跟1144都不行,1143可以。 更新为0 ,是正常执行的 1145也只有一条、 表清空。还是不行。 删表,建表,重新录入,可以。 想不出什么问题,,,会是数据库bug吗。 ......
mysql5 mysql bug

Mysql拒绝远程访问, sql_mode=only_full_group_by的解决

MYSQL禁止远程访问解决: mysql -u root -pmysql>use mysql;mysql>update user set host = '%' where user = 'root';mysql>select host, user from user;mysql>FLUSH PRIV ......
only_full_group_by sql_mode Mysql group mode

2023最新ELK日志平台(elasticsearch+logstash+kibana)搭建

去年公司由于不断发展,内部自研系统越来越多,所以后来搭建了一个日志收集平台,并将日志收集功能以二方包形式引入自研系统,避免每个自研系统都要建立一套自己的日志模块,节约了开发时间,管理起来也更加容易。 这篇文章主要介绍ELK最新版本的搭建,二方包的介绍可以看小霸王的另外一篇文章。 ......
elasticsearch logstash kibana 平台 日志

【MySQL速通篇001】5000字吃透MySQL部分重要知识点

MySQL主键和外键知识点 | 主键的概念 | 主键的创建 | desc 表名 | show create table 表名; | 自增列起 始值设置 | 设置自增列初始值语句 | 自增列步长设置 | 唯一索引知识点 | 创建唯一索引的方式 | 外键变种 详细知识点 | 什么是外键变种 | 外键变种... ......
通篇 MySQL 知识点 部分 知识

MySql生成ER【StarUML】文件

1. 背景 要画ER图,一个个打费时费力,StarUML文件打开是json。那么就有可能自动生成。 2. 效果 把表结构生成好,自己只要维护关系即可。 3. 代码 import lombok.Data; import java.io.FileWriter; import java.io.IOExce ......
StarUML 文件 MySql

如何高效实现 MySQL 与 elasticsearch 的数据同步

MySQL 自身简单、高效、可靠,是又拍云内部使用最广泛的数据库。但是当数据量达到一定程度的时候,对整个 MySQL 的操作会变得非常迟缓。而公司内部 robin/logs 表的数据量已经达到 800w,后续又有全文检索的需求。这个需求直接在 MySQL 上实施是难以做到的。 原数据库的同步问题 由 ......
elasticsearch 数据 MySQL

三天吃透MySQL面试八股文

本文已经收录到Github仓库,该仓库包含计算机基础、Java基础、多线程、JVM、数据库、Redis、Spring、Mybatis、SpringMVC、SpringBoot、分布式、微服务、设计模式、架构、校招社招分享等核心知识点,欢迎star~ Github地址:https://github.c ......
八股文 八股 MySQL

MySQL 中的锁有哪些类型,MySQL 中加锁的原则

MySQL 中的锁理解 锁的类型 全局锁 缺点 适用范围 表级锁 表锁 元数据锁 意向锁 自增锁 行锁 Record Lock Gap Lock Next-Key Lock 插入意向锁 加锁的原则 1、主键等值查询 2、非唯一索引等值查询 3、主键索引范围锁 4、非唯一索引范围查询 5、非唯一索引等 ......
MySQL 原则 类型

Linux系统下祼机安装mysql8.0和docker mysql 8.0 性能差异对比~

环境准备 准备两台服务器环境,配置相同,分别安装Centos7,mysql8.0,docker mysql 8.0 准备测试代码 public class Chat { public static long Count = 0; public Chat() { } public static voi ......
mysql 差异 性能 mysql8 docker

docker mysql8.0 启动,挂数据卷,定时备份,恢复~

安装mysql 从mysql社区版的官方源去拉取镜像:mysql/mysql-server - Docker Image | Docker Hub docker run --name=mysql1 -d mysql/mysql-server:latest 镜像起来之后,mysql就默默的初始化好了, ......
备份 数据 docker mysql8 mysql

MySQL5.7主从复制教程

​ 简述:主从复制,是用来建立一个和主数据库完全一样的数据库环境,称为从数据库,主数据库一般是准实时的 业务数据库、事务处理库,从库做查询库。 ​ 复制过程简单的说就是 master 将数据库的改变写入二进制日志,slave同步这些二进制日志,并根据这些二进制日志行数据操作 1、什么是主从复制 ​ ......
主从 教程 MySQL5 MySQL

MySQL 并行复制方案演进历史及原理分析

预告: 《MySQL实战》即将出版,敬请关注! 有过线上 MySQL 维护经验的童鞋都知道,主从延迟往往是一个让人头疼不已的问题。 不仅仅是其造成的潜在问题比较严重,而且主从延迟原因的定位尤其考量 DBA 的综合能力:既要熟悉复制的内部原理,又能解读主机层面的资源使用情况,甚至还要会分析 binlo ......
原理 方案 历史 MySQL

前端程序员需要了解的MySQL

数据库的基本概念 数据库(database)是用来组织、存储和管理数据的仓库。对数据库中的数据可以进行增删改查操作。市面上常见的数据库有: MySQL(使用最广泛。流行度最高的开源免费数据库 Community+Enterprise) Oracle(收费) SQL Server(收费) Mongod ......
前端 程序员 程序 MySQL

linux系统安装MySQL服务,详细图文教程

注:linux系统在安装操作系统时,如果选择了开发工具和兼容库后,一般默认都会安装MySQL服务的部分程序包。如果我们要自定义的安装全新的MySQL服务,就必须先把这些已经安装的程序包都卸载掉。否则,后面这些程序包会给我们带来很多麻烦。 1、查看系统里是否有安装MySQL相关的程序包。 rpm -q ......
图文 教程 系统 linux MySQL

MySQL查看数据库性能常用命令和实战教学

MySQL查看数据库性能常用命令 # 列出MySQL服务器运行各种状态值 show global status; # 查询MySQL服务器配置信息语句 show variables; # 慢查询 show variables like '%slow%'; # MySQL服务器最大连接数 show v ......
实战 命令 性能 常用 数据库

MySQL 中的事务理解

MySQL 中的事务 前言 原子性 一致性 持久性 并发事务存在的问题 脏读 幻读 不可重复读 隔离性 事务的隔离级别 事务隔离是如何实现 可重复读 和 读提交 串行化 读未提交 可重复读解决了幻读吗 总结 参考 MySQL 中的事务 前言 MySQL 中的事务操作,要么修改都成功,要么就什么也不做 ......
事务 MySQL

MySQL8.0 高可用集群化 · mysql-shell · mysql-router · docker · 单主多从

MySQL8.0 高可用集群,mysql-shell、mysql-router、docker、单主多从、集群服务参数配置说明、GTID、binlog、AdminAPI 集群管理、负载均衡、读写分离、故障转移 ......
183 mysql 集群 mysql-router mysql-shell

在腾讯云上创建一个玩具docker-mysql数据服务

有时候开发需求会自己做一下测试数据,在自己电脑本地安装的服务多了电脑环境会搞的很乱,这时使用云服务器安装个docker服务是一个不错的选择。 下面步骤是在腾讯云上安装docker-mysql镜像,并导入数据,使用的过程。 服务端配置 首先使用ssh登录服务器,然后按照下面的步骤一步一步操作即可。 安 ......
docker-mysql 玩具 数据 docker mysql

数据库系列:MySQL慢查询分析和性能优化

1 背景 我们的业务服务随着功能规模扩大,用户量扩增,流量的不断的增长,经常会遇到一个问题,就是数据存储服务响应变慢。 导致数据库服务变慢的诱因很多,而RD最重要的工作之一就是找到问题并解决问题。 下面以MySQL为例子,我们从几个角度分析可能产生原因,并讨论解决的方案。 2 定位慢查询的原因并优化 ......
性能 数据库 数据 MySQL

MySQL 中一条 sql 的执行过程

一条 SQL 的执行过程 前言 查询 查询缓存 分析器 优化器 执行器 数据更新 日志模块 redo log (重做日志) binlog (归档日志) undo log (回滚日志) 两阶段提交 为什么需要两阶段提交 逻辑日志和物理日志 参考 一条 SQL 的执行过程 前言 在开始学习 MySQL ......
过程 MySQL sql

Linux上安装jdk Tomcat mysql redis等

1.安装JDk 1.1这里使用xshell中xfxp进行文件的上传,将jdk二进制包上传到Linux服务器上 下载地址:https://www.oracle.com/java/technologies/downloads/#java8 或者这里有下载好的安装包:链接:https://pan.baid ......
Tomcat Linux mysql redis jdk

电脑本地安装不同版本MySQL

本地已经安装了mysql5.7版本,想测试mysql8版本的用法,想在一台电脑同时配置不同版本的mysql在不同端口号,看起来简单,实现起来其实挺多坑的,总结下实战经验和大家分享下 一、下载安装 下载地址 二、配置 1、解压缩,设置my.ini从原来版本拷贝过来即可,改端口号以及dir [mysql ......
版本 电脑 MySQL

k8s部署canal-1.1.6版本实现MySQL数据库数据同步

1、版本说明 软件&镜像 版本&镜像信息 说明 Kubernetes v1.23.7 k8s服务器 Kuboard v3.5.2.0 k8s连接管理工具 Canal v1.1.6 数据同步 Canal-deployer canal/canal-server:latest canal-deplyer镜 ......
数据 版本 数据库 canal MySQL

MySQL8.0性能优化(实践)

MySQL8.0性能优化(实践)、InnoDB、索引、缓存、表分区、线程、参数优化、查询性能、慢查询、写入性能、性能调优实践。 ......
性能 MySQL8 MySQL

MySQL join语句怎么优化?

在MySQL的实现中,Nested-Loop Join有3种实现的算法: 1、 Simple Nested-Loop Join:简单嵌套循环连接 2、 Block Nested-Loop Join:缓存块嵌套循环连接 3、 Index Nested-Loop Join:索引嵌套循环连接 MySQL ......
语句 MySQL join

使用Logstash工具导入sqlserver数据到elasticSearch及elk分布式日志中心

首先记下这个笔记,Logstash工具导入sqlserver数据到elasticSearch。 因为logstash使用java写的,我本地开发是win11,所以javade jdk必须要安装。具体安装不介绍了,就是网上下个java8,不要去官网要账号什么的,不是java开发不太折腾,目前只用jav ......

既然有MySQL了,为什么还要有MongoDB?

大家好,我是哪吒,最近项目在使用MongoDB作为图片和文档的存储数据库,为啥不直接存MySQL里,还要搭个MongoDB集群,麻不麻烦? 让我们一起,一探究竟,了解一下MongoDB的特点和基本用法,实现快速入门,丰富个人简历,提高面试level,给自己增加一点谈资,秒变面试小达人,BAT不是梦。 ......
MongoDB MySQL

MySql树形结构(多级菜单)查询设计方案

背景 又很久没更新了,很幸运地新冠引发了严重的上呼吸道感染,大家羊过后注意休息和防护 工作中(尤其是传统项目中)经常遇到这种需要,就是树形结构的查询(多级查询),常见的场景有:组织架构(用户部门)查询 和 多级菜单查询 比如,菜单分为三级,一级菜单、二级菜单、三级菜单,要求用户按树形结构把各级菜单查 ......
树形 菜单 结构 方案 MySql