主从 集群keepalived mysql
ELK+kafka集群部署
前言 业务层可以直接写入到kafka队列中，不用担心elasticsearch的写入效率问题。 消息系统主要功能 1、解耦 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束 2、冗余 消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采 ......
Grafana+Prometheus监控mysql数据库
在做性能测试的时候难免会被定位搞得晕头转向，那么有一套好的监控系统对于测试来说那就是天眼，今天我们就来搭建一套监控mysql数据库的监控系统 Grafana+Prometheus+MySQL+Mysqld_Exporter。 准备工具： MySQL：5.7 InfluxDB：1.7.9 Grafan ......
A0--集群基础环境
文件下载： ansible_v2.9.9 flink-1.16.0 hadoop-3.1.3 hive-3.1.3 kafka_2.13-3.3.1 python-3.8.10 spark-3.2.1 tools.tgz zookeeper-3.6.3 一、安装并配置ansible自动化工具 1）上 ......
[小迪安全]笔记 day12、13 MySQL注入
1. 简单案例 1.1 简易代码分析SQL注入原理 http://localhost:8085/sqli-labs/Less-2/index.php?id=2 id=2 正常查询 http://localhost:8085/sqli-labs/Less-2/index.php?id=-2 id=-2 ......
白嫖一个月的ES，完成了与MySQL的联动
前言 《腾讯云 x Elasticsearch三周年》活动来了。文章写之前的思路是：在腾讯云服务器使用docker搭建ES。但是理想很丰满,显示很骨感，在操作过程中一波三折，最后还是含着泪美滋滋地，白嫖了一个月的腾讯云ES服务。 最后就是利用腾讯云的Elasticsearch和Kibana，和我在腾 ......
flask，mysql实现用户登录注册注销改密
flask.py文件 from flask import Flask, render_template, request, redirect, url_for, flash, session from flask_mysqldb import MySQL import bcrypt app = Fl ......
hdfs集群的扩容和缩容
1、背景 当我们的hadoop集群运行了一段时间之后，原有的数据节点的容量已经不能满足我们的存储了，这个时候就需要往集群中增加新的数据节点。此时我们就需要动态的对hdfs集群进行扩容操作(节点服役)。 2、集群黑白名单 在hdfs集群中是存在黑名单和白名单的。 黑名单： 该文件包含不允许连接到nam ......
mysql 时间转换成日期
很多时候都存了当前时间，没有单独存日期这个函数。查询按天查询的时候，需要转换成日期。 select DATE_FORMAT(create_time, "%Y-%m-%d") as day, count(DISTINCT(product_user_id)) as uv, count(product_u ......
MySQL8的root帐号授权
执行下面的命令MySQL8会报错： grant all privileges on db_name.* to 'root'@'%' ### Cause: java.sql.SQLSyntaxErrorException: Access denied for user 'root'@'%' to da ......
安装MYSQL_5.0/8.0教程（附数据库和客户端工具下载链接）
1. Mysql5.7下载 网盘下载（推荐）： 链接：https://pan.quark.cn/s/d98d2536f847提取码：kbyN 官网下载： mysql下载地址： https://dev.mysql.com/downloads/windows/installer/8.0.html 跳转到 ......
Redis-cluster调整主从关系
一、概述 Redis集群创建后，可能会出现互为主从关系的节点从属于同一台服务器的情况。在此种情况下，若服务器故障宕机或需要停机维护，互为主从关系的节点同时停止运行，导致redis集群暂时失去一部分slot插槽。此时，redis集群为fail状态，对其进行的数据读写操作均无法正常进行。为避免此种情况的 ......
docker 部署mongoDB集群与读写分离
一.生成key文件 需要注意集群中所有机器都需要用同一个文件，否则会出现验证失败的情况 # 生成key openssl rand -base64 756 > /data/volume/mongodb/configdb/mongo.key # 设置访问权限 chmod 400 /data/volume ......
mysql8.0修改root密码
修改密码按大部分教程的操作结束，进行登录的时候还是会出现 ERROR 1045 (28000): Access denied for user ‘root’@‘localhost’ (using password: YES) 经过多次尝试，终于解决这个问题。以下是操作过程记录。关键为第二步。 1. ......
CentOS7 卸载mysql（YUM源方式）
防止重装 yum方式 查看yum是否安装过mysql yum list installed mysql* 如或显示了列表，说明系统中有MySQL yum卸载 根据列表上的名字 yum remove mysql-community-client mysql-community-common mysql ......
centos7.2 mysql5.7 源码安装并编译
1、 卸载系统自带的mariadb* [root@centos7_4 ~]# yum -y remove mariadb* boost-* 2、 安装依赖包 [root@centos7_4 ~]# yum install -y cmake make gcc gcc-c++ bison ncurses ......
MySql8.0.30忽略大小写配置
说明：此文档只是针对已经初始化了的数据库，如果是新安装的数据库直接在/etc/my.cnf 文件中新增一行配置：lower_case_table_names=1即可。因为默认配置是0. 步骤1：备份mysql所有数据，并删掉data目录里的所有文件。可能是因为数据库里的表默认设置了lower_cas ......
Mongo主从同步原理
1. Mongo主从同步原理 Mongo主从同步原理是基于复制集（replicate set).复制集是一组mongodb实例，其中一个实例为主节点，其他实例为从节点。主节点负责所有数据写操作，并将写操作的结果复制到从节点。从节点只能读取数据，不能写入数据 在mongo中，主节点和从节点之间的数据同 ......
Redis哨兵和cluster集群
1、什么是哨兵模式哨兵模式：可以自动切换解决单点故障，但是不能负载均衡，存储能力受限制。 哨兵核心功能：在主从复制的基础上，实现了主节点的自动故障转移 2、哨兵的作用监控：监控主节点和从节点是否在正常运行 故障自动转移：当主节点不能正常工作时，哨兵会开始自动故障转移操作，它会将失效主节点的其中一个从 ......
MySQL带排序的分页查询优化
MySQL带排序的分页查询优化 需求 在日常开发中，经常会遇到这么一种情况，一张表的数据量较大（500万左右）的时候，对其进行分页查询的时候，在分页比较深的情况下，查询效率会急剧下降。对于这种情况，我们需要做一些分页查询的优化。 准备 创建脚本 CREATE TABLE student ( id I ......
决战圣地玛丽乔亚Day47----Redis集群
4.Redis Cluster 集群模式 如果单机吞吐量过大，我们可以横向和纵向进行扩展，横向就是加节点（scale out），纵向就是加配置（scale up）。 如果加配置，治标不治本，单机局限性和持久化问题无法解决（如轮式RDB快照还是AOF指令） 横向扩展更容易扩展，可以解决很多问题，包括单 ......
MYSQL基础知识之DCL语句
1、DCL概念 DCL英文全称是Data Control Language(数据控制语言)，用来管理数据库用户、控制数据的访问权限 2、查询用户 语法：SELECT * FROM user; MySQL用户信息默认存储在mysql数据库中的user表中，所以只需要查询mysql数据库中的user表即 ......
实战篇：使用rook在k8s上搭建ceph集群
写在开篇 “ 上一次，我发了一篇：《理论篇：让我们一起鲁克鲁克——rook（开源存储编排）》。这次，来一篇实战，使用rook在k8s上把ceph集群搞起来。后续，还会陆续分享如何对接k8s（作为k8s的后端存储）、以及分享一些在生产上的实践经验。 ” 环境规划 | 主机名 | IP | 角色 | 数 ......
如何理解MySQL的MVCC多版本并发控制
前言 我们知道在mysql中存在四种隔离级别（读未提交、读已提交、可重复读、序列化），它默认的就是隔离级别就是可重复读，它能够解决脏读、不可重复读问题，并且在innodb引擎下能部分解决幻读问题。在mysql innodb存储引擎下RC(读已提交),RR(可重复读)基于MVCC（多版本并发控制）进行 ......
MYSQL基础知识之DQL语句
1、DQL概念 DQL英文全称是Data Query Language(数据查询语言)，用来查询数据库中的表的记录 2、基本查询 语法： # 查询全部字段SELECT * FROM 表名; # 查询多个字段SELECT 字段1,字段2,字段3... FROM 表名; # 去重 语法：SELECT D ......
Mysql基本语句
创建用户三种方式： CREATE USER username1 IDENTIFIED BY 'password'; CREATE USER 'username1'@'localhost' IDENTIFIED BY 'password'; 在 MySQL 中，可以使用 password() 函数获取 ......
MYSQL基础知识之DML语句
1、DML概念 DML英文全称是Data Manipulation Language(数据操作语言)，用来对数据库中表的数据进行增(INSERT)、删(DELETE)、改(UPDATE)操作 2、插入数据 语法： 2.1、 给指定字段添加数据INSERT INTO 表名 (字段1,字段2,...) ......
MySQL（九）InnoDB行格式
InnoDB行格式 查看默认行格式： select @@innodb_default_row_format; 查看数据库表使用的行格式 mysql> use atguigudb; Reading table information for completion of table and column ......
MySQL（九）InnoDB数据结构
InnoDB数据结构 1 数据库的存储结构：页 索引信息和数据记录都是保存在文件上的，确切来说是保存在页结构中；另一方面，索引是在存储引擎上实现的，MySQL服务器上的存储引擎负责对表中数据的读取和写入工作。不同的存储引擎的存放格式是不同的，比如Memory甚至不使用磁盘进行存储数据。 磁盘和内 ......
MySQL（十）表空间结构：区、段与碎片区
表空间结构：区、段与碎片区 为什么要有区？ B+树中的每一层的页都会形成一个双向链表，双向链表之间的物理位置可能会离得非常远，当遇到范围查询的适用场景的时候，就会定位到最左边和最右边的记录，然后沿着双向链表一直扫描，而如果这其中的两个页面物理上离得特别远，就会成为随机I/O，由于磁盘和内存的速度 ......