高性能 索引 笔记mysql
docker搭建Elasticsearch、Kibana、Logstash 同步mysql数据到ES
一、前言 在数据量大的企业级实践中，Elasticsearch显得非常常见，特别是数据表超过千万级后，无论怎么优化，还是有点力不从心！使用中，最首先的问题就是怎么把千万级数据同步到Elasticsearch中，在一些开源框架中知道了，有专门进行同步的！那就是Logstash 。在思考，同步完怎么查看 ......
道长的算法笔记：状态机模型之股票系列问题
(一) 股票系列问题 所谓的股票问题，是一个动态规划状态机模型的系列问题，这些题目来自于LeetCode社区，这些问题非常经典，能够帮助我们理解动态规划的本质，这些问题大多初看之下会令人感觉无从下手，但是一旦掌握相应的方法划分状态之后，很快即可举一反三的写出相应的代码。 股票系列问题合集 LC121 ......
【译】2022 年回顾：Web 性能有哪些新变化？
原文地址：https://www.debugbear.com/blog/2022-in-web-performance 若对文中提到的一些性能参数不太熟悉，可以参考我之前的一篇博文《性能参数和优化手段》。 衡量和优化网站速度的方式一直在变化。 今年又引入了新的 Web 标准（并最终得到广泛支持），开 ......
Apache HttpClient 5 笔记: SSL, Proxy 和 Multipart Upload
HttpClient 版本已经到 5.2.1 了. 在版本4中的一些方法已经变成 deprecated, 于是将之前的工具类升级一下, 顺便把中间遇到的问题记录一下 ......
SQLSERVER 的复合索引和包含索引到底有啥区别？
一：背景 1. 讲故事 在 SQLSERVER 中有非常多的索引，比如：聚集索引，非聚集索引，唯一索引，复合索引，Include索引，交叉索引，连接索引，奇葩索引等等，当索引多了之后很容易傻傻的分不清，比如：复合索引 和 Include索引，但又在真实场景中用的特别多，本篇我们就从底层数据页层面厘清 ......
SQLSERVER 的主键索引真的是物理有序吗？
一：背景 1. 讲故事 最近在看 SQL SERVER 2008 查询性能优化，书中说当一个表创建了聚集索引，那么表中的行会按照主键索引的顺序物理排列，这里有一个关键词叫：物理排列，如果不了解底层原理，真的会被忽悠过去，其实仔细想一想不可能实现严格的 物理排列 ，那对性能是非常大的损害，本篇我们就从 ......
有序存储对于高性能的意义
摘要：有序存储是指将数据按照某些字段排序后再存储。在此基础上，我们可以实现某些高性能算法，利用数据有序的特征来降低计算复杂度，从而大幅提高计算性能。 本文分享自华为云社区《有序存储对于高性能的意义》，作者： 陈橘又青 。 有序存储是指将数据按照某些字段排序后再存储。在此基础上，我们可以实现某些高性能 ......
（四）elasticsearch 源码之索引流程分析
1.概览 前面我们讨论了es是如何启动，本文研究下es是如何索引文档的。 下面是启动流程图，我们按照流程图的顺序依次描述。 其中主要类的关系如下: 2. 索引流程 (primary) 我们用postman发送请求，创建一个文档 我们发送的是http请求，es也有一套http请求处理逻辑，和sprin ......
Kubernetes的垂直和水平扩缩容的性能评估
Kubernetes的垂直和水平扩缩容的性能评估 译自：Performance evaluation of the autoscaling strategies vertical and horizontal using Kubernetes 可扩展的应用可能会采用水平或垂直扩缩容来动态调整云端资源 ......
JUC源码学习笔记7——FutureTask源码解析,人生亦如是，run起来才有结果
系列文章目录和关于我 一丶我们在哪里会使用到FutureTask 基本上工作中和Future接口 打交道比较多，比如线程池ThreadPoolExecutor#sumbit方法，返回值就是一个Future（实际上基本上就是一个FutureTask）。ThreadPoolExecutor#sumbit ......
5个接口性能提升的通用技巧
前言 作为后端开发人员，我们总是在编写各种API，无论是为前端web提供数据支持的HTTP REST API ，还是提供内部使用的RPC API。这些API在服务初期可能表现不错，但随着用户数量的增长，一开始响应很快的API越来越慢，直到用户抱怨：“你的系统太糟糕了。” 我只是浏览网页。为什么这么慢 ......
关于 MySQL 嵌套子查询中，无法关联主表字段问题的折中解决方法
今天在工作中写项目的时候，遇到了一个让我感到几乎无解的问题，在转换了思路后，想出了一个折中的解决方案，记录如下。 其实，问题的场景，非常简单： 就是需要查询出上图的数据，红框是从 项目产品表 中查询的2个字段，绿框是从与项目产品表关联的 文章表 中查询出的1个字段。我希望实现的效果是，获取到项目产品 ......
Mysql索引覆盖
通常情况下，我们创建索引的时候只关注 where 条件，不过这只是索引优化的一个方向。优秀的索引设计应该纵观整个查询，而不仅仅是 where 条件部分，还应该关注查询所包含的列。索引确实是一种高效的查找数据方式，但是 mysql 也可以从索引中直接获取数据，这样就不在需要读数据行了。 ......
MySql索引下推知识分享
作者：刘邓忠 Mysql 是大家最常用的数据库，下面为大家带来 mysql 索引下推知识点的分享，以便巩固 mysql 基础知识，如有错误，还请各位大佬们指正。 1 什么是索引下推 索引下推 (Index Condition Pushdown，索引条件下推，简称 ICP)，是 MySQL5.6 版本 ......
Git和Maven的学习笔记
Git 1、Git简介 Git 是一个免费的、开源的分布式版本控制系统，可以快速高效地处理从小型到大型的各种 项目。 Git 易于学习，占地面积小，性能极快。 它具有廉价的本地库，方便的暂存区域和多个工作 流分支等特性。其性能优于 Subversion、CVS、Perforce 和 ClearCas ......
.NET 云原生架构师训练营（基于 OP Storming 和 Actor 的大型分布式架构二）--学习笔记
目录 为什么我们用 Orleans Dapr VS Orleans Actor 模型 Orleans 的核心概念 结合 OP Storming 的实践 结合 OP Storming 的实践 业务模型 设计模型 代码实现 业务模型 我们可以把关键对象（职位、客户行为记录、线索）参考为 actor 猎头 ......
.NET性能优化-使用RecyclableMemoryStream替代MemoryStream
提到MemoryStream大家可能都不陌生，在编写代码中或多或少有使用过；比如Json序列化反序列化、导出PDF/Excel/Word、进行图片或者文字处理等场景。但是如果使用它高频、大数据量处理这些数据，就存在一些性能陷阱。 今天给大家带来的这个优化技巧其实就是池化MemoryStream的版本 ......
深入理解 MySQL 的事务隔离级别和 MVCC 机制
前言 我们都知道 MySQL 实现了 SQL 标准中的四个隔离级别，但是具体是如何实现的可能还一知半解，本篇博客将会从代码层面讲解隔离级别的实现方式，下面进入正题。 事务 考虑这样一个场景：博主向硝子酱的微信转了 520 块钱，在余额充足的正常情况下博主的账户余额会少 520 块，而硝子酱则会多 5 ......
Window系统的mysql数据库定时备份
原文：Window系统的mysql数据库定时备份 - Stars-One的杂货小窝 最近老大提到了数据库备份的功能，由于服务器是window系统的，所以研究了下备份的方案，特此记录 主要是实现每天定时备份功能，如果还要搞容灾的话，就得对mysql数据库进行主从配置了 cmd命令 核心的cmd命令如下 ......
Mattermost 笔记
Mattermost 是一个开源、可私有化部署的在线通讯平台，可以和Github、Jira、Jenkins、Gitlab等做集成，所以也可以作为 ChatOps 的一种实现方式。 很早之前为开源项目 boat-house 做的一个教程，今天偶尔翻笔记的时候找了出来，在这里也分享一下。 部署 使用do ......
一键部署MySQL8+keepalived双主热备高可用
概述 本次的文章会格外的长，网上大多的配置流程已经不可使用，本篇文章可以称为保姆级教程，而且通过shell脚本大大减少了部署mysql主从，双主的工作量。 如上图，VIP地址为192.168.10.100，如果主机192.168.10.129挂了，会自动切换到备机192.168.10.130上，由于 ......
Qwt开发笔记（二）：Qwt基础框架介绍、折线图介绍、折线图Demo以及代码详解
前言 QWT开发笔记系列整理集合，这是目前使用最为广泛的Qt图表类（Qt的QWidget代码方向只有QtCharts，Qwt，QCustomPlot），使用多年，系统性的整理，本系列旨在系统解说并逐步更新其各种Demo示例 本片文章主要讲解折线图，借助折线图展现一个基础流程框架。 Demo QwtP ......
通过 CancellationToken 提高 Web 性能
在 Web 开发中，经常会遇到这样的场景：用户发起一个请求，Web 服务器执行一些计算密集型的操作，等待结果返回给用户。这种情况下，如果用户在等待结果的过程中取消了请求，那么服务器端依然会继续执行计算，这样就会造成资源浪费。 为了解决这个问题，我们可以使用 CancellationToken 来提高 ......
使用 BenchmarkDotNet 比较指定容量的 List 的性能
我们之前提到 List 是 .NET 中常用的数据结构，其在存储大量数据时，如果能够指定它的初始化容量，就会有性能提升。这个优化的方法并不是很明显，因此本文将使用 BenchmarkDotNet 库，通过定量对比的方式来证明这一点。 实验过程 引入 BenchmarkDotNet 首先，我们需要在项 ......
Kafka技术专题之「性能调优篇」消息队列服务端出现内存溢出OOM以及相关性能调优实战分析
本篇文章介绍Kafka处理大文件出现内存溢出 java.lang.OutOfMemoryError: Direct buffer memory，主要内容包括基础应用、实用技巧、原理机制等方面，希望对大家有所帮助。 ......
【Java难点攻克】「NIO和内存映射性能提升系列」彻底透析NIO底层的内存映射机制原理与Direct Memory的关系
Java类库中的NIO包相对于IO包来说有一个新功能就是 【内存映射文件】，在业务层面的日常开发过程中并不是经常会使用，但是一旦在处理大文件时是比较理想的提高效率的手段，之前已经在基于API和开发实战角度介绍了相关的大文件读取以及NIO操作的实现，而本文主要想结合操作系统(OS)底层中相关方面的内容... ......
PAM8403 3.3V音频功放调试笔记
做I2S输出用了PT8211(实际上买到的丝印是GH8211), 双声道, LSB格式, 工作正常但是输出功率非常低, 喇叭声音要贴近了才能勉强听到, 所以打算做一个PT8211带功放的I2S模块. 最开始用的是PT8211 + LM386 * 2, 能正常工作就是LM386的电压要求比较高, 只能... ......
一文聊透Apache Hudi的索引设计与应用
Hudi索引在数据读和写的过程中都有应用。读的过程主要是查询引擎利用MetaDataTable使用索引进行Data Skipping以提高查找速度;写的过程主要应用在upsert写上，即利用索引查找该纪录是新增（I）还是更新(U)，以提高写入过程中纪录的打标（tag）速度。 MetaDataTabl ......
Mqttnet内存与性能改进录
1 MQTTnet介绍 MQTTnet是一个高性能的 .NET MQTT库，它提供MQTT客户端和MQTT服务器的功能，支持到最新MQTT5协议版本，支持.Net Framework4.5.2版本或以上。 MQTTnet is a high performance .NET library for ......