数据处理 客户端 客户 服务器
云数据库FinOps实战复盘
历时三个多月的HBase成本优化项目按照预期交付了，HBase云数据库月度成本下降了32.5%，超出预期达成目标。 我们对本次HBase成本优化项目进行深度复盘，并进一步尝试总结云数据库的FinOps之道。 希望能够赋能mysql、redis、mongo等其他云数据库产品实现降本增效，进而给互联网寒 ......
一步步带你设计MySQL索引数据结构
前言 MySQL的索引是一个非常重要的知识点，也基本上是面试必考的一个技术点，所以非常重要。那你了解MySQL索引的数据结构是怎么样的吗？为什么要采用这样的数据结构？ 现在化身为MySQL的架构师，一步步迭代设计出MySQL的索引结构，保证你再也忘记不了索引的结构了，轻松通过面试。 索引介绍 MyS ......
分布式注册服务中心etcd在云原生引擎中的实践
作者：王雷 etcd是什么 etcd是云原生架构中重要的基础组件，由CNCF孵化托管。ETCD是用于共享配置和服务发现的分布式，一致性的KV存储系统，是CoreOS公司发起的一个开源项目，授权协议为Apache。etcd 基于Go语言实现，主要用于共享配置，服务发现，集群监控，leader选举，分布 ......
RocketMQ Connect 构建流式数据处理平台
RocketMQ Connect 作为 RocketMQ 与其他系统间流式数据传输的重要工具，轻松将 RocketMQ 与其他存储技术进行集成，并实现低延迟流/批处理。接下来，我们一起详解运行原理与基本特性～ ......
数据驱动测试-从方法探研到最佳实践
作者：刘红妍 导读 在自动化测试实践中，测试数据是制造测试场景的必要条件，本文主要讲述了在沟通自动化框架如何分层，数据如何存储，以及基于单元测试pytest下如何执行。并通过实践案例分享，提供数据驱动测试的具体落地方案。 基本概念 数据驱动测试（DDT）是一种方法，其中在数据源的帮助下重复执行相同顺 ......
RocketMQ Schema——让消息成为流动的结构化数据
RocketMQ Schema 提供了对消息的数据结构托管服务，同时为原生客户端提供了较为丰富的序列化/反序列化 SDK ，补齐了 RocketMQ 在数据治理和业务上下游解耦方面的短板，让数据成为流动的结构化数据，那么快来了解下实现原理吧~ ......
使用 SSH 连接 Git 服务器
关于 SSH SSH (Secure Shell) 是一种安全的远程登录协议，可以让你通过安全的加密连接进行远程登录。目前，Mac、Windows 10、Linux 系统均有内置 OpenSSH 客户端。如果你想通过 SSH 连接到 Gitea，首先需要创建一对 SSH 密钥（即公钥和私钥），然后将 ......
Spring之后置处理器
Spring的后置处理器是Spring对外开发的重要扩展点，允许我们接入Bean的实例化流程中，以达到动态注册BeanDefinition、动态修改BeanDefinition、动态修改Bean的作用。 BeanFactoryPostProcessor BeanFactory的后置处理器，在Bean ......
【图像处理笔记】小波变换
【图像处理笔记】总目录 0 引言 1987年，小波被证明是多分辨率信号处理和分析的基础。多分辨率理论融合并统一了来自不同学科的技术，包括来自信号处理的子带编码、来自数字语音识别的正交镜像滤波及金字塔图像处理。顾名思义，多分辨率理论涉及多个分辨率下的信号（或图像）表示与分析。 曾经有人问我有关haar ......
【图像处理笔记】傅里叶变换
【图像处理笔记】总目录 0 引言 在之前的博客图像增强，傅里叶变换（OpenCV)中都有用到过傅里叶变换，但一直都不是特别理解，现系统地学习一下。先来看一个视频傅里叶级数与傅立叶变换，我们了解到任何周期函数都可以表示为不同频率的正弦函数和/或余弦函数之和，其中每个正弦函数和/或余弦函数都乘以不同的系 ......
MongoDB安全加固，防止数据库攻击删除勒索威胁
前言： 今天发现前段时间自己搭建的一个系统的MongoDB数据找不到了，觉得很奇妙，然后登上MongoDB数据库发现多了一个名为READ__ME_TO_RECOVER_YOUR_DATA的数据库，里面还有一个README的集合里面包含了下面描述的勒索信息。没错我的MongoDB数据库被攻击了，不过还 ......
SpringBoot向Excel模板中写入数据并下载 （无需获取file对象及模板绝对路径）
之前用获取模板路径的方式测试没问题打包后就有问题了 莫名出现一个！ 找了很多教程尝试无果 最终使用下面这个方式 无需获取file对象以及模板路径的方式进行写入下载 （那个设置浏览器编码没有测试不知道能不能用！！！） public void export(SampleFilterAO filter, ......
文件服务器 — File Browser
前言 一直想部署一套文件服务器，供队友之间相互传输文件。平时用微信发送文件真的太烦了，每发送或者接收一次都会有一个新的文件，造成重复文件太多了。文件服务器统一管理，自己需要什么文件再下载。 前面的思路一直是想使用 ftp ，安装了 vsftpd，配置也都成功，服务也启动了，可是访问一直有问题，而且查 ......
数据结构高阶--AVL（平衡二叉树）（图解+实现）
AVL树（平衡二叉树） 概念 二叉搜索树虽可以缩短查找的效率，但如果数据有序或接近有序二叉搜索树将退化为单支树，查找元素相当于在顺序表中搜索元素，效率低下。因此为了解决这个问题，两位俄罗斯的数学家发明了一种方法：当向二叉搜索树中插入新结点后，如果能保证每个结点的左右子树高度之差的绝对值不超过1(需要 ......
MySQL JDBC驱动版本与数据库版本的对应关系及注意事项
事情发生 学了三遍的servlet，经典老师又教的第一万遍登陆注册，并且让实现，并且让演示，我们老师可能和之前的小学期公司老师 完全没有沟通过，我们小学期大作业都做了一个小项目出来还搁这登陆注册。 就把五个月前写的一个小项目拿出来，是一个类似菜鸟教程的网站，不过只有java的教程，这都是后话， 项目 ......
nestjs搭建HTTP与WebSocket服务
最近在做一款轻量级IM产品，后端技术栈框架使用了nodejs + nestjs作为服务端。同时，还需要满足一个服务同时支持HTTP服务调用以及WebSocket服务调用，此文主要记录本次搭建过程，以及基本的服务端设计。 基本环境搭建 node v14.17.5 nestjs 全局命令行工具（npm ......
SpringCloud Alibaba(二) - Sentinel，整合OpenFeign,GateWay服务网关
1、环境准备 1.1Nacos 单机启动：startup.cmd -m standalone 1.2 Sentinel 启动命令：java -Dserver.port=8858 -Dcsp.sentinel.dashboard.server=localhost:8858 -Dproject.name ......
数据结构高阶--二叉搜索树（原理+实现）
二叉搜索树 概念 二叉搜索树又称为二叉排序树，因为这棵树的中序遍历是有序的。二叉搜索树总结起来有以下几个性质： 若它的左子树不为空，则左子树上所有节点的值都小于根节点的值 若它的右子树不为空，则右子树上所有节点的值都大于于根节点的值 它的左右子树都是二叉搜索树 这棵树中没有重复的元素 举个例子： 二 ......
kubernetes数据持久化StorageClass动态供给(二)
存储类的好处之一便是支持PV的动态供给，它甚至可以直接被视作为PV的创建模版，用户用到持久性存储时，需要通过创建PVC来绑定匹配的PV，此类操作需求较大，或者当管理员手动创建的PV无法满足PVC的所有需求时，系统按PVC的需求标准动态创建适配的PV会为存储管理带来极大的灵活性，不过仅那些属于Stor ......
数据结构初阶--单链表（讲解+类模板实现）
单链表 **概念：**链表是一种物理存储结构上非连续、非顺序的存储结构，数据元素的逻辑顺序是通过链表中的指针链接次序实现的 。 值得注意的是： 1.链表的在逻辑是连续的，物理上不一定是连续的； 2.现实中节点是从堆上申请的。 链表的实现 链表的单个结点的定义 就像这个图一样，一个空间用了存放数据（数 ......
数据结构初阶--栈和队列（讲解+类模板实现）
栈 栈的概念和结构 栈：一种特殊的线性表，其只允许在固定的一端进行插入和删除元素操作。进行数据插入和删除操作的一端称为栈顶，另一端称为栈底。栈中的数据元素遵守后进先出LIFO（Last In First Out）加粗样式的原则。 入栈：从栈顶放入数据的操作。 出栈：从栈顶取出元素的操作。 栈的实现 ......
MQ系列8：数据存储，消息队列的高可用保障
MQ系列1：消息中间件执行原理 MQ系列2：消息中间件的技术选型 MQ系列3：RocketMQ 架构分析 MQ系列4：NameServer 原理解析 MQ系列5：RocketMQ消息的发送模式 MQ系列6：消息的消费 MQ系列7：消息通信，追求极致性能 1 介绍 在之前的章节中，我们介绍了消息的发送 ......
数据结构初阶--双向循环链表（讲解+类模板实现）
带头双向链表的结构 看下面的图，就是我今天要给大家分享有结构——带头双向循环链表。这里的头是不存放任何数据的，就是一个哨兵卫的头结点。 用代码来表示每一个节点就是这样的： 数据域和指针域 两个指针，一个指向前驱结点，一个指向后继结点 给定两个构造函数，有参和无参，分别对结点的指针域和数据域进行初始化 ......
PyTorch Geometric Temporal 介绍 —— 数据结构和RGCN的概念
Introduction PyTorch Geometric Temporal is a temporal graph neural network extension library for PyTorch Geometric. PyTorch Geometric Temporal 是基于PyTo ......
数据结构初阶--二叉树介绍（基本性质+堆实现顺序结构）
树的基本概念和结构 树的相关概念 **节点的度：**一个节点含有的子树的个数称为该节点的度； 如上图：A的为2 叶节点或终端节点：度为0的节点称为叶节点； 如上图：D、F、G、H为叶节点 **非终端节点或分支节点：**度不为0的节点； 如上图：A、B…等节点为分支节点 **双亲节点或父节点：**若一 ......
数据结构初阶--二叉树（前中后序遍历递归+非递归实现+相关求算结点实现）
二叉树链式结构 前一篇博客介绍了二叉树的顺序结构，是通数组来存储的，这里我们通过创建链式结构来存储，在堆上申请空间，结构如下： template <class DateType> struct BinaryTreeNode { DateType data;//数据域 BinaryTreeNode* ......
ArcGIS QGIS学习二：图层如何只显示需要的部分几何面数据（附最新坐标边界下载全国省市区县乡镇）
前言 当我们用GIS软件打开一个SHP文件的时候，会显示出里面全部的几何图形，假如我只想要其中的一部分数据显示出来，其他的均不要显示，有那么几种操作方法。 我们可以通过把需要显示的几何面复制到另外一个图层里面来单独显示，但如果需要显示的区域一变，又要重新搞，不是很方便。 下面将记录一下我学到的解决方 ......
Winform控件绑定数据
简介 在C#中提起控件绑定数据，大部分人首先想到的是WPF，其实Winform也支持控件和数据的绑定。 Winform中的数据绑定按控件类型可以分为以下几种： 简单控件绑定 列表控件绑定 表格控件绑定 绑定基类 绑定数据类必须实现INotifyPropertyChanged接口，否则数据类属性的变更 ......
一图看懂Hadoop中的MapReduce与Spark的区别：从单机数据系统到分布式数据系统经历了哪些?
今日博主思考了一个问题：Hadoop中的MapReduce与Spark他们之间到底有什么关系？ 直到我看到了下面这张图 废话不多说先上图👇 我们知道，单机数据系统，在本地主机上针对数据有单机本地存储操作（localFS）和单机计算操作（SQL） 这是在数据量比较小方便在一台主机就完成任务的情况。 ......