备份mysql
[学习笔记]SQL server完全备份指南
@ 本文将介绍如何在日常项目中，对SQL server数据库做备份和还原工作，SQL server的备份/还原机制，详情参见官方文档：备份和还原 Linux 上的 SQL Server 数据库 方式一，使用SQL Server Management Studio 准备工作 连接目标数据库服务器 在目 ......
MySQL8.0 高可用集群化 · mysql-shell · mysql-router · docker · 单主多从
MySQL8.0 高可用集群，mysql-shell、mysql-router、docker、单主多从、集群服务参数配置说明、GTID、binlog、AdminAPI 集群管理、负载均衡、读写分离、故障转移 ......
【KAWAKO】从mac上定时将腾讯云的数据备份到本地
前言 不信任一切云端平台，把数据牢牢握在自己手中才是最安全的。 需求 使用腾讯云服务器上的宝塔面板定时备份网站和数据库，然后定时将备份后的数据存到本地。 宝塔面板 备份网站 备份数据库 mac端 创建工程文件夹 rua.py 在python中使用scp将备份的网站文件和数据库文件传到本地。会将log ......
在腾讯云上创建一个玩具docker-mysql数据服务
有时候开发需求会自己做一下测试数据，在自己电脑本地安装的服务多了电脑环境会搞的很乱，这时使用云服务器安装个docker服务是一个不错的选择。 下面步骤是在腾讯云上安装docker-mysql镜像，并导入数据，使用的过程。 服务端配置 首先使用ssh登录服务器，然后按照下面的步骤一步一步操作即可。 安 ......
数据库系列：MySQL慢查询分析和性能优化
1 背景 我们的业务服务随着功能规模扩大，用户量扩增，流量的不断的增长，经常会遇到一个问题，就是数据存储服务响应变慢。 导致数据库服务变慢的诱因很多，而RD最重要的工作之一就是找到问题并解决问题。 下面以MySQL为例子，我们从几个角度分析可能产生原因，并讨论解决的方案。 2 定位慢查询的原因并优化 ......
MySQL 中一条 sql 的执行过程
一条 SQL 的执行过程 前言 查询 查询缓存 分析器 优化器 执行器 数据更新 日志模块 redo log (重做日志) binlog (归档日志) undo log (回滚日志) 两阶段提交 为什么需要两阶段提交 逻辑日志和物理日志 参考 一条 SQL 的执行过程 前言 在开始学习 MySQL ......
Linux上安装jdk Tomcat mysql redis等
1.安装JDk 1.1这里使用xshell中xfxp进行文件的上传，将jdk二进制包上传到Linux服务器上 下载地址：https://www.oracle.com/java/technologies/downloads/#java8 或者这里有下载好的安装包：链接：https://pan.baid ......
mongdb遭遇勒索,用备份进行数据恢复
mongdb遭遇勒索,用备份进行数据恢复 1、背景： 某台MongoDB服务器，没有配置用户名密码，放到公网不到一天，遭到删库勒索 All your data is a backed up. You must pay 0.05 BTC to 1K4DdqZ7sWUkhtfRqAGi7VcRck3it ......
Oracle ADG环境下的RMAN备份策略
作为IT运维人员，尤其是数据库岗位，数据的备份重于一切。 现在很多用户会有一个普遍误区，认为现在类似ADG这类灾备已经很完善，且实时性也更佳，往往就忽略了传统的备份效用。 但实际上，我们千万不能因为有了容灾建设就盲目忽略备份的作用，二者其实有着本质区别。很多场景，灾备都是无法替代传统备份的，二者是缺 ......
电脑本地安装不同版本MySQL
本地已经安装了mysql5.7版本，想测试mysql8版本的用法，想在一台电脑同时配置不同版本的mysql在不同端口号，看起来简单，实现起来其实挺多坑的，总结下实战经验和大家分享下 一、下载安装 下载地址 二、配置 1、解压缩，设置my.ini从原来版本拷贝过来即可，改端口号以及dir [mysql ......
k8s部署canal-1.1.6版本实现MySQL数据库数据同步
1、版本说明 软件&镜像 版本&镜像信息 说明 Kubernetes v1.23.7 k8s服务器 Kuboard v3.5.2.0 k8s连接管理工具 Canal v1.1.6 数据同步 Canal-deployer canal/canal-server:latest canal-deplyer镜 ......
MySQL8.0性能优化（实践）
MySQL8.0性能优化（实践）、InnoDB、索引、缓存、表分区、线程、参数优化、查询性能、慢查询、写入性能、性能调优实践。 ......
防微杜渐,未雨绸缪,百度网盘(百度云盘)接口API自动化备份上传以及开源发布,基于Golang1.18
奉行长期主义的开发者都有一个共识：对于服务器来说，数据备份非常重要，因为服务器上的数据通常是无价的，如果丢失了这些数据，可能会导致严重的后果，伴随云时代的发展，备份技术也让千行百业看到了其“云基因”的成长与进化，即基于云存储的云备份。 本次我们使用Golang1.18完成百度网盘(百度云盘)接口AP ......
MySQL join语句怎么优化？
在MySQL的实现中，Nested-Loop Join有3种实现的算法： 1、 Simple Nested-Loop Join：简单嵌套循环连接 2、 Block Nested-Loop Join：缓存块嵌套循环连接 3、 Index Nested-Loop Join：索引嵌套循环连接 MySQL ......
既然有MySQL了，为什么还要有MongoDB？
大家好，我是哪吒，最近项目在使用MongoDB作为图片和文档的存储数据库，为啥不直接存MySQL里，还要搭个MongoDB集群，麻不麻烦？ 让我们一起，一探究竟，了解一下MongoDB的特点和基本用法，实现快速入门，丰富个人简历，提高面试level，给自己增加一点谈资，秒变面试小达人，BAT不是梦。 ......
MySql树形结构（多级菜单）查询设计方案
背景 又很久没更新了，很幸运地新冠引发了严重的上呼吸道感染，大家羊过后注意休息和防护 工作中（尤其是传统项目中）经常遇到这种需要，就是树形结构的查询（多级查询），常见的场景有：组织架构（用户部门）查询 和 多级菜单查询 比如，菜单分为三级，一级菜单、二级菜单、三级菜单，要求用户按树形结构把各级菜单查 ......
Longhorn+K8S+KubeSphere云端数据管理，实战 Sentry PostgreSQL 数据卷增量快照/备份与还原
云端实验环境配置 VKE K8S Cluster Vultr 托管集群 https://vultr.com/ 3 个 worker 节点，kubectl get nodes。 k8s-paas-71a68ebbc45b Ready <none> 12d v1.23.14 k8s-paas-dbbd4 ......
通过Canal将云上MySQL数据同步到华为云ES(CSS)中
背景: A部门想将mysql中多张表join成一个sql查询语句,然后将结果同步到es中供搜索使用 环境信息: 源端mysql在阿里云上,有公网ip 目标端es在华为云上,三节点 操作步骤与目的: 配置MySQL供canal访问 1.由于阿里云的rds一般都配置了白名单,因此需要将后续canal所在 ......
MySQL性能优化浅析及线上案例
关于数据库的性能优化其实是一个很复杂的大课题，很难通过一篇帖子讲的很全面和深刻，这也就是为什么我的标题是‘浅析’，程序员的成长一定是要付出代价和成本，因为只有真的在一线切身体会到当时的紧张和压力，对于一件事情才能印象深刻，但反之也不能太过于强调代价，如果可以通过一些别人的分享就可以规避一些自己业务的... ......
docker搭建Elasticsearch、Kibana、Logstash 同步mysql数据到ES
一、前言 在数据量大的企业级实践中，Elasticsearch显得非常常见，特别是数据表超过千万级后，无论怎么优化，还是有点力不从心！使用中，最首先的问题就是怎么把千万级数据同步到Elasticsearch中，在一些开源框架中知道了，有专门进行同步的！那就是Logstash 。在思考，同步完怎么查看 ......
有备无患！DBS高性价比方案助力富途证券备份上云
“某中心受病毒攻击，导致服务中断，线上业务被迫暂停” “某公司员工误操作删库，核心业务数据部分丢失，无法完全找回” “由于服务器断线，某医院信息系统瘫痪近4小时，期间病人无法使用医保卡挂号和结算” …… 数据丢失风险防不胜防，企业构建数据备份方案迫在眉睫！ 此次腾讯云数据库备份服务DBS携手富途证券 ......
关于 MySQL 嵌套子查询中，无法关联主表字段问题的折中解决方法
今天在工作中写项目的时候，遇到了一个让我感到几乎无解的问题，在转换了思路后，想出了一个折中的解决方案，记录如下。 其实，问题的场景，非常简单： 就是需要查询出上图的数据，红框是从 项目产品表 中查询的2个字段，绿框是从与项目产品表关联的 文章表 中查询出的1个字段。我希望实现的效果是，获取到项目产品 ......
Mysql索引覆盖
通常情况下，我们创建索引的时候只关注 where 条件，不过这只是索引优化的一个方向。优秀的索引设计应该纵观整个查询，而不仅仅是 where 条件部分，还应该关注查询所包含的列。索引确实是一种高效的查找数据方式，但是 mysql 也可以从索引中直接获取数据，这样就不在需要读数据行了。 ......
MySql索引下推知识分享
作者：刘邓忠 Mysql 是大家最常用的数据库，下面为大家带来 mysql 索引下推知识点的分享，以便巩固 mysql 基础知识，如有错误，还请各位大佬们指正。 1 什么是索引下推 索引下推 (Index Condition Pushdown，索引条件下推，简称 ICP)，是 MySQL5.6 版本 ......
深入理解 MySQL 的事务隔离级别和 MVCC 机制
前言 我们都知道 MySQL 实现了 SQL 标准中的四个隔离级别，但是具体是如何实现的可能还一知半解，本篇博客将会从代码层面讲解隔离级别的实现方式，下面进入正题。 事务 考虑这样一个场景：博主向硝子酱的微信转了 520 块钱，在余额充足的正常情况下博主的账户余额会少 520 块，而硝子酱则会多 5 ......
Window系统的mysql数据库定时备份
原文：Window系统的mysql数据库定时备份 - Stars-One的杂货小窝 最近老大提到了数据库备份的功能，由于服务器是window系统的，所以研究了下备份的方案，特此记录 主要是实现每天定时备份功能，如果还要搞容灾的话，就得对mysql数据库进行主从配置了 cmd命令 核心的cmd命令如下 ......
一键部署MySQL8+keepalived双主热备高可用
概述 本次的文章会格外的长，网上大多的配置流程已经不可使用，本篇文章可以称为保姆级教程，而且通过shell脚本大大减少了部署mysql主从，双主的工作量。 如上图，VIP地址为192.168.10.100，如果主机192.168.10.129挂了，会自动切换到备机192.168.10.130上，由于 ......
实时采集MySQL数据之轻量工具Maxwell实操
一个用于企业应用支持实时增量采集和全量采集MySQL数据开源框架Maxwell，功能强于Canal，比Flink CDC更易用。本篇先了解其定义和原理，然后通过安装和环境准备，了解其启动的两种方式，最后实操演示几个maxwell在企业中常用的场景示例。 ......
MySQL空间暴涨150G导致锁定，发生了什么
背景 12月1号中午突然收到大量报警，某客户环境操作数据库大量失败，报错信息如下图所示： 这个报错我是第一次见，一时间有点无所适从，但是从字面意思来看是MySQL目前处于LOCK_WRITE_GROWTH状态，拒绝执行当前的语句，一定是MySQL出问题了。 初定位 我随即登录阿里云控制台查看MySQ ......