数据结构 底层 索引 结构
索引下推
索引下推是从 MySQL5.6 开始引入一个特性，英文是 index condition pushdown，一般简称为 ICP，索引下推通过减少回表的次数，来提高数据库的查询效率。 在 MySQL5.5 中，由于没有索引下推，所以上面这个 SQL 的执行流程是这样的： 首先 MySQL 的 serv ......
聊聊索引
简介 MySQL是最流行的关系型数据库之一，索引是MySQL中最重要的性能优化技术之一。通过优化索引可以显著提升查询性能，降低查询的时间复杂度。本文将介绍MySQL索引的类型、不同类型的特点、最左匹配原则、回表、索引下推、在实际应用中如何建立索引以及索引优化的技巧。 一、MySQL的索引类型 MyS ......
【故障公告】数据库服务器 CPU 近 100% 造成全站故障，雪上加霜难上加难的三月
数据库服务器 CPU 近 100% 问题几乎每年都要发生一次，上次发生在去年1月31日，每次都是通过主备切换或者重启实例解决。今年这个问题真会找时间，在园子非常困难的时期，在昨天刚刚因疯狂蜘蛛袭击被整得精疲力尽之后，在星期天早上难得睡个懒觉的时候，在今天早上 8:30 左右来袭。 ......
我想用gin开发一个使用redis和数据库的系统。 我应该如何进行架构设计？
在设计使用 Redis 的系统和使用 Gin 的数据库时，需要牢记几个架构注意事项。 这是一个可能的架构设计： API 层：API 层处理传入的请求并提供响应。 该层负责验证输入、验证用户并将请求路由到适当的服务层。 服务层：服务层包含应用程序的业务逻辑。 它应该负责与 Redis 和数据库进行交互 ......
AVA应用项目从ORACLE数据库到达梦数据库的迁移及适配
转载：JAVA应用项目从ORACLE数据库到达梦数据库的迁移及适配_oracle切换到达梦数据库配置文件修改_tanst的博客-CSDN博客 JAVA应用项目从ORACLE数据库到达梦数据库的迁移及适配 本文针对笔者在工作中对JAVA应用项目在信创适配时，将应用从ORACLE数据库迁移到达梦数据库过 ......
Redis主从集群切换数据丢失问题如何应对？
数据丢失的情况 异步复制同步丢失 集群产生脑裂数据丢失 异步复制丢失 对于Redis主节点与从节点之间的数据复制，是异步复制的，当客户端发送写请求给master节点的时候，客户端会返回OK，然后同步到各个slave节点中。 如果此时master还没来得及同步给slave节点时发生宕机，那么maste ......
支持10倍订单增长，携程数据库架构升级实践
随着机票订单业务的不断增长，当前订单处理系统的架构已经不能满足日益增长的业务需求，系统性能捉襟见肘，主要体现在以下方面：
数据库CPU资源在业务高峰期经常达到50%以上，运行状况亮起了黄灯；
磁盘存储空间严重不足，需要经常清理磁盘数据腾挪可用空间；
系统扩容能力不足，如果需要提升处理能力只能更换配置... ......
GFS数据抽取与导出至MYSQL
前言：近期，公司APP需要接入天气类数据，多方寻找，终于找到一个开源的且有较高权威的、免费的数据源，中间踩过的一些坑一一记录下来。 1.数据来源GFS（全球天气预报系统(Global Forecasting System)），该系统每天发布4次全球范围的气象数据，分辨率有四种：0.25° x 0.2 ......
nginx 进行tcpip 数据端口映射
TCP port mapping stream{ upstream tcpLink { hash $remote_addr consistent; server xxx:3306 weight=5 max_fails=3 fail_timeout=30s; } server { listen 700 ......
[软件设计] 软件系统总体结构设计 | 软件架构概述 [转载]
1 概述 对于程序员而言，开始关注架构就是重大进步。就已经从单纯写代码的层次里跳了出来，至少从“增删改查”中跳了出来，能以更宏观的视角去思考代码、思考软件工程！ 这是一个新的起点，加油！ 1.1 架构的定义 架构是一个来源于传统领域的古老概念，用来指对房屋、桥梁等实体物理结构的设计与研究。 后来，架 ......
.NET 通过Word模板，使用AsposeWord进行数据动态导出Word
@ 先看一下导出的整体效果（如下图），其中标注的区域都是通过后台动态生成的： 一、先在Word中建立好表格模板 1.1、参数创建方法（Word和WPS） 1.1.1、Office中Word域的创建 1.1.1.1、选中指定的单元格 -> 点击头部工具栏中的”插入“ -> 选择 ”文档部件“ -> 选 ......
数据结构（1）
单链表 #include <iostream> using namespace std; const int N = 1e6+10; int shuzhi[N], next_position[N]; int head, idx ; //头结点下标、当前的下标 void init() { head = ......
P2 MySQL三层结构
P2 MySQL三层结构 所谓安装MySQL数据库，就是在主机安装一个数据库管理系统（DBMS），这个管理程序可以管理多个数据库。DBMS(database manage system) 一个数据库可以创建多个表，以保存数据（信息）。 数据管理系统（DBMS）、数据库和表的关系如图所示： 数据在数据 ......
机器学习算法（五）：基于企鹅数据集的决策树分类预测
决策树的主要优点：
1. 具有很好的解释性，模型可以生成可以理解的规则。
2. 可以发现特征的重要程度。
3. 模型的计算复杂度较低。
决策树的主要缺点：
1. 模型容易过拟合，需要采用减枝技术处理。
2. 不能很好利用连续型特征。
3. 预测能力有限，无法达到其他强监督模型效果。
4. 方差... ......
数据类型-Sorted Set（待补充）
Redis为什么使用skiplist而不是平衡树 Redis中的skiplist主要是为了实现sorted set相关的功能，红黑树当然也能实现其功能，为什么redis作者当初在实现的时候用了skiplist而不是红黑树、b树之类的平衡树？ 而且显然红黑树比skiplist更节省内存啊！ Redis ......
C语言结构体
结构体的声明： struct 结构名 { 类型 变量名; 类型 变量名; ... } ; 结构体的定义： 1. struct 结构体名 结构变量名 // 这种结构体定义用于同一结构体不同对象的情况。 struct name xiaoming; struct name xiaohong; 2. // ......
CentOS7环境下数据库运维---主从复制、读写分离
1.理解MySQL主从复制原理 主服务器开启binlog日志，从库生成log dump线程，将binlog日志传给从库I/O线程，从库生成俩个线程，一个是I/O线程，一个是SQL线程，I/O线程去请主库的binlog日志，并将binlog日志中的文件写入relay log中，sql线程会读取rela ......
数据结构-跳表
数据结构 /* ZSETs use a specialized version of Skiplists */ typedef struct zskiplistNode { sds ele; double score; struct zskiplistNode *backward; struct z ......
索引构建
背景 面向C端用户的在线核心搜索系统底层采用ES作为核心“存储/检索”引擎，搜索作为用户购买决策的核心链路的一部分，对系统的可靠性要求tp9999，对查询性能要求极高(召回＋排序 300ms以内)。如何搭建一套这样系统稳定、性能可靠的搜索系统呢？ 索引构建 ` ` 离线索引构建 离线索引构建流程图如 ......
数据结构（第二章）
数据结构（第二章） 一、线性表 概念：线性表是具有相同数据类型的n(n>0)个数据元素的有序数列。 第一个元素没有直接前驱，最后一个元素没有直接后继。 表中元素的个数有限 表中元素具有逻辑上的顺序性，表中元素有其先后顺序。 表中元素都是数据元素，每个元素都是单个元素。 表中元素的数据类型相同，这意味 ......
前端用户图像传递给后端数据库
在业务中，我们将图片上传到服务器之后，需要将图片保存地址返回给前端和保存在数据库中，那么怎么获得这个地址呢？ 图片上传到哪里了？？？ 上传到什么服务器？？？ 前端上传 后端获取URL地址，保存数据库 数据库查询，返回URL地址前端，显示 ......
结构体大小
空的结构体，在c中sizeof获取的值是0 (gcc/clang), c++中则是1 (clang++). 《C语言深度解剖》 enum 型变量在编译器会被替换为具体的值，所以sizeof只返回单个变量的值。//不存在遍历enum的循环 编译器在结构体中填充空白是为了随机访问，尽可能提高访问效率。将 ......
ghidra---导出数据到文件
Ghidra里，没有比较方便的方法直接导出数据到文件，可以执行python脚本实现。
写了一个Ghidra用的脚本: https://github.com/qux-bbb/ghidra-scripts/blob/master/export_data_to_file.py, 可以复制直接用了，下面... ......
批量删除和如何进行部分字段修改数据
1.单个删除和批量删除： 2.url 3.单个删除：将id为1的is_delete改成True（即1） 4.批量删除：会将包含在列表中的ID进行删除_即is_delete改为1 5.添加partial=True可以在传参的时候只传需要修改的部分字段 5_1.添加partial=True响应测试 ......
如何快速实现数据库读写分离
实现读写分离可以使用AOP（面向切面编程）思想，通过划分事务的读写属性，将其分别交由读写数据库实例来处理。下面是实现读写分离的代码示例：```using System;using System.Linq;using System.Transactions;using System.Collectio ......
数据从业者成长的5个阶段
数据从业者的使命是用数据驱动业务，但数据本身无法直接驱动业务，因此必然要经历从数据到信息、从信息到知识，再从知识到智慧的过程。 数据从业者的成长要起于数据，终于业务，让数据产生真正的智慧。 参考链接:数据从业者成长的五个阶段 ......
mysql数据库备份与恢复
环境：CentOS7.9 mysql-5.7 1.数据库准备，建表 create database school; CREATE TABLE student ( id INT(10) NOT NULL UNIQUE PRIMARY KEY , name VARCHAR(20) NOT NULL , ......
结构型-代理模式
定义 代理是一个中间者的角色，如生活中的中介，出于种种考虑/限制，一个对象不能直接访问另一个对象，需要一个第三者（中间代理）牵线搭桥从而间接达到访问目的，这样的就是代理模式。 es6 中的代理 es6 的 proxy 就是上面说的代理模式的实现，es6 帮我们在语法层面提供了这个新的api，让我们可 ......