mysql 主从复制原理

mysql master主库启动binlog日志，每次执行的数据库操纵语句写入binlog,从库定期启动一个i/o线程去binlog日志，将binlog日志写入从库的relay log（中继日志）,再启动sql线程去将relay log日志将数据重放，其他都是顺序读写，这个步骤是可能造成延迟的主要原因

解决办法：
1、从库配置比主库好，
2、并行去复制（mysql5.7后采用mts并行复制）

主从复制原理

一、为什么需要主从复制？

1. 在业务复杂的系统中，有这么一个情景，有一句sql语句需要锁表，导致暂时不能使用读的服务，那么就很影响运行中的业务，使用主从复制，让主库负责写，从库负责读，这样，即使主库出现了锁表的情景，通过读从库也可以保证业务的正常运作。

2. 做数据的热备

3. 架构的扩展。业务量越来越大，I/O访问频率过高，单机无法满足，此时做多库的存储，降低磁盘I/O访问的频率，提高单个机器的I/O性能。

二、什么是mysql的主从复制？

MySQL 主从复制是指数据可以从一个MySQL数据库服务器主节点复制到一个或多个从节点。MySQL 默认采用异步复制方式，这样从节点不用一直访问主服务器来更新自己的数据，数据的更新可以在远程连接上进行，从节点可以复制主数据库中的所有数据库或者特定的数据库，或者特定的表。

三、mysql复制原理

原理：

​ （1）master服务器将数据的改变记录二进制binlog日志，当master上的数据发生改变时，则将其改变写入二进制日志中；

​ （2）slave服务器会在一定时间间隔内对master二进制日志进行探测其是否发生改变，如果发生改变，则开始一个I/OThread请求master二进制事件

​ （3）同时主节点为每个I/O线程启动一个dump线程，用于向其发送二进制事件，并保存至从节点本地的中继日志中，从节点将启动SQL线程从中继日志中读取二进制日志，在本地重放，使得其数据和主节点的保持一致，最后I/OThread和SQLThread将进入睡眠状态，等待下一次被唤醒。

也就是说：

• 从库会生成两个线程,一个I/O线程,一个SQL线程;
• I/O线程会去请求主库的binlog,并将得到的binlog写到本地的relay-log(中继日志)文件中;
• 主库会生成一个log dump线程,用来给从库I/O线程传binlog;
• SQL线程,会读取relay log文件中的日志,并解析成sql语句逐一执行;

注意：

1. master将操作语句记录到binlog日志中，然后授予slave远程连接的权限（master一定要开启binlog二进制日志功能；通常为了数据安全考虑，slave也开启binlog功能）。
2. slave开启两个线程：IO线程和SQL线程。其中：IO线程负责读取master的binlog内容到中继日志relay log里；SQL线程负责从relay log日志里读出binlog内容，并更新到slave的数据库里，这样就能保证slave数据和master数据保持一致了。
3. Mysql复制至少需要两个Mysql的服务，当然Mysql服务可以分布在不同的服务器上，也可以在一台服务器上启动多个服务。
4. mysql复制最好确保master和slave服务器上的Mysql版本相同（如果不能满足版本一致，那么要保证master主节点的版本低于slave从节点的版本）
5. master和slave两节点间时间需同步。

具体步骤：

1、从库通过手工执行change master to 语句连接主库，提供了连接的用户一切条件（user 、password、port、ip），并且让从库知道，二进制日志的起点位置（file名 position 号）； start slave

2、从库的IO线程和主库的dump线程建立连接。

3、从库根据change master to 语句提供的file名和position号，IO线程向主库发起binlog的请求。

4、主库dump线程根据从库的请求，将本地binlog以events的方式发给从库IO线程。

5、从库IO线程接收binlog events，并存放到本地relay-log中，传送过来的信息，会记录到master.info中

6、从库SQL线程应用relay-log，并且把应用过的记录到relay-log.info中，默认情况下，已经应用过的relay 会自动被清理purge

主从复制实战

1、准备工作

• 提前准备两台服务器，并且在服务器中安装MySQL，服务器的信息如下：

mysql版本最好保持一致。

• 在两台服务器上开放mysql对应的端口:

fillward:
firewall-cmd --zone=public --add-port=3306/tcp --permanent
firewall-cmd --zone=public --list-ports

iptables：
iptables -A INPUT -p tcp -s 192.168.1.66 --dport 3306 -j ACCEPT

• 两台服务器的mysql服务要启动起来

systemctl start mysqld

2、在主(master)服务器进行如下配置：

#修改配置文件，执行以下命令打开mysql配置文件
vi /etc/my.cnf
#在mysqld模块中添加如下配置信息
log-bin=mysql-bin #二进制文件名称
binlog-format=row  #二进制日志格式，有row、statement、mixed三种格式，row指的是把改变的内容复制过去，而不是把命令在从服务器上执行一遍，statement指的是在主服务器上执行的SQL语句，在从服务器上执行同样的语句。MySQL默认采用基于语句的复制，效率比较高。mixed指的是默认采用基于语句的复制，一旦发现基于语句的无法精确的复制时，就会采用基于行的复制。
server-id=1		   #要求各个服务器的id必须不一样
binlog-do-db=spider_lishi1   #同步的数据库名称 (可选)
binlog-ignore-db = mysql  #不同步哪些数据库 (可选)

配置从(slave)服务器登录主服务器的账号授权

这一步骤可以省略，可以直接使用 主服务器的 root 账号.

-- 登录主(master)服务器的mysql
--授权操作
mysql> set global validate_password_policy=0;
mysql> set global validate_password_length=1;
mysql> grant replication slave on *.* to 'copy'@'%' identified by 'copy123';

--刷新权限
flush privileges;

注：上面SQL的作用是创建一个用户 copy ，密码为 copy123 ，并且给 copy 用户授予REPLICATION SLAVE权限。常用于建立复制时所需要用到的用户权限，也就是slave必须被master授权具有该权限的用户，才能通过该用户复制。

3、重启主(master)服务器的mysqld服务

#重启mysql服务
service mysqld restart

#登录mysql数据库
mysql -uroot -p

#查看master状态，记录二进制文件名(mysql-bin.xxx)和位置(xxx)：
mysql> show master status；

上面 show master status; 执行后，需要记录 File 和 Position 的值，从(slave)服务器进行同步的时候需要用到。

4、从(slave)服务器的配置

#修改配置文件，执行以下命令打开mysql配置文件
vi /etc/my.cnf

#在mysqld模块中添加如下配置信息
log-bin=mysql-bin	#二进制文件的名称
binlog-format=row	#二进制文件的格式
server-id=2			#服务器的id
replicate_do_db=spider_lishi1 # 同步的数据库名（可选）

5、重启从(slave)服务器并进行相关配置

#重启mysql服务
service mysqld restart

#登录mysql
mysql -uroot -p

#连接主服务器
mysql> change master to master_host='192.168.15.105',master_user='copy',master_password='copy123',master_port=3306,master_log_file='mysql-bin.000008',master_log_pos=1491215;

#启动slave
mysql> start slave;

#查看slave的状态

mysql> show slave status\G
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 192.168.15.100
                  Master_User: root
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000015
          Read_Master_Log_Pos: 11881
               Relay_Log_File: node2-relay-bin.000010
                Relay_Log_Pos: 7010
        Relay_Master_Log_File: mysql-bin.000015
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB:
          Replicate_Ignore_DB:
           Replicate_Do_Table:
       Replicate_Ignore_Table:
      Replicate_Wild_Do_Table:
  Replicate_Wild_Ignore_Table:
                   Last_Errno: 0
                   Last_Error:
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 11881
              Relay_Log_Space: 9623
              Until_Condition: None
               Until_Log_File:
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File:
           Master_SSL_CA_Path:
              Master_SSL_Cert:
            Master_SSL_Cipher:
               Master_SSL_Key:
        Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error:
               Last_SQL_Errno: 0
               Last_SQL_Error:
  Replicate_Ignore_Server_Ids:
             Master_Server_Id: 1
                  Master_UUID: 9f84e709-c132-11ec-a492-000c29860ce1
             Master_Info_File: /usr/local/mysql/var/master.info
                    SQL_Delay: 0
          SQL_Remaining_Delay: NULL
      Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
           Master_Retry_Count: 86400
                  Master_Bind:
      Last_IO_Error_Timestamp:
     Last_SQL_Error_Timestamp:
               Master_SSL_Crl:
           Master_SSL_Crlpath:
           Retrieved_Gtid_Set:
            Executed_Gtid_Set:
                Auto_Position: 0
         Replicate_Rewrite_DB:
                 Channel_Name:
           Master_TLS_Version:
1 row in set (0.00 sec)


#关闭同步
stop slave;

在 主服务器可以使用show processlist; 查看从服务器连接同步数据的信息。

按照上面的配置出现问题

Slave_IO_Running: Connecting　　# 出现错误，IO线程处于正在连接状态

解决一

首先在从数据库链接登录主数据库，查看是否能够成功登录

mysql -uroot -proot -h192.168.67.146（主数据库分配的user和pwd以及主数据库的IP地址）

假如不能登录则需要关闭防火墙后重试

systemctl stop firewalld 关闭网络防火墙
systemctl disable firewalld 关闭开机自启动(永久关闭)

解决二

假如是做测试，虚拟机是使用克隆出来的两个虚拟机，所以在文件夹/usr/local/mysql/var/下面的auto.cnf文件中server-uuid=64e8e1b7-e13e-11ea-9d5f-000c29a7b93f俩个虚拟机数据库的uuid相同所以导致一直处于Slave_IO_Running: Connecting状态，假如主从数据库中的UUID相同则将主从数据库中的auto.cnf文件删除后重新启动数据库后可以解决

解决三

由于每次数据库重启后都会导致master status发生变化，所以需要根据当前的master status来修改从数据库中的SQL同步语句

mysql主从同步延时分析

​ mysql的主从复制都是单线程的操作，主库对所有DDL和DML产生的日志写进binlog，由于binlog是顺序写，所以效率很高，slave的sql thread线程将主库的DDL和DML操作事件在slave中重放。DML和DDL的IO操作是随机的，不是顺序，所以成本要高很多，另一方面，由于sql thread也是单线程的，当主库的并发较高时，产生的DML数量超过slave的SQL thread所能处理的速度，或者当slave中有大型query语句产生了锁等待，那么延时就产生了。

解决方案：

​ 1.业务的持久化层的实现采用分库架构，mysql服务可平行扩展，分散压力。

​ 2.单个库读写分离，一主多从，主写从读，分散压力。这样从库压力比主库高，保护主库。

​ 3.服务的基础架构在业务和mysql之间加入memcache或者redis的cache层。降低mysql的读压力。

​ 4.不同业务的mysql物理上放在不同机器，分散压力。

​ 5.使用比主库更好的硬件设备作为slave，mysql压力小，延迟自然会变小。

​ 6.使用更加强劲的硬件设备

参考链接：
https://blog.csdn.net/weixin_43879261/article/details/111483712
https://www.cnblogs.com/yang-qiu/p/15704927.html

本栏目推荐文章
• Jmeter 如何连接mysql数据库？
• Maven常见问题与原理技巧
• 如何通过Navicat把MySQL远程数据库导入到本地数据库
• 第十二节：红黑树性质、相对平衡的原理、与AVL树的区别
• CS5569芯片,CS556,设计资料,CS5569规格书,CS5569原理图,typec转HDMI 8K带PD方案
• 【LeetCode 2701. 连续递增交易】MySQL用户变量编程得到严格递增连续子序列的开始位置，结束位置，长度等统计信息
• 【Leetcode 2474. 购买量严格增加的客户】MySQL用户变量编程解决严格递增连续子序列问题
• mysql发生连接异常Cause: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure
• 【LeetCode 2494. 合并在同一个大厅重叠的活动】MySQL用户变量编程解决区间合并问题
• 【C语言】模块划分、编译器工作原理

主从 原理 mysql主从 原理mysql 主从 原理 概念mysql 主从mysql原理 数据库 主从rocketmq原理 主从mysql 主从 原理 方案django 主从 哨兵aof原理 主从windows版本mysql 主从docker mysql 主从mysql gtid