第二章 数据库 基础 数据
从 Cloud-Native Relational DB 看数据库设计
论文内容：Amazon Aurora: Design Considerations for HighThroughput Cloud-Native Relational Databases 里面介绍了一种云原生的关系型数据库 Aurora 的体系结构，以及导致该体系结构的设计考虑因素。我觉得和普通的 ......
火山引擎 DataLeap：3 个关键步骤，复制字节跳动一站式数据治理经验
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，并进入官方交流群 DataLeap 是火山引擎数智平台 VeDI 旗下的大数据研发治理套件产品，帮助用户快速完成数据集成、开发、运维、治理、资产、安全等全套数据中台建设，降低工作成本和数据维护成本、挖掘数据价值、为企业决策提供数据支撑。 本 ......
深度学习炼丹-数据标准化
当我们处理的数据具有不同尺度时，执行数据标准化操作是很有必要的。本文给出了数据标准化(Normalization)的定义、常用方法以及为什么要做数据标准化，并给出相关代码实现。 ......
2022数据分析： 电商天猫维生素类药品销售分析
前言 这篇数据分析记述了一次关于天猫维生素类的药品(2020-2021)销售数据的分析。 有些不足的地方，希望大家斧正。 题目 随着国家政策的逐步开放，越来越多的药品可以在网络上购买，医药电商平台蒸蒸日上，受新冠疫情的影响，线下药店购买困难，更让医药电商进入了更多消费者的视野，各大药企也纷纷加大力度 ......
DRF框架基础
DRF框架基础 了解drf之前咱们安装一下该框架吧DRF安装与使用 本篇文章会详细介绍web开发模式、API接口及其接口测试工具、restful规范、还有经常分不清又很重要的序列化与反序列化的部分，初级交接触APIView、Request类。每个人对知识点的理解都会不一样，因此我会用自己的理解撰写一 ......
神经网络基础部件-BN层详解
训练深度神经网络的复杂性在于，因为前面的层的参数会发生变化导致每层输入的分布在训练过程中会发生变化。这又导致模型需要需要较低的学习率和非常谨慎的参数初始化策略，从而减慢了训练速度，并且具有饱和非线性的模型训练起来也非常困难。网络层输入数据分布发生变化的这种现象称为内部协变量转移，BN 就是来解决这个... ......
Sqoop导出ClickHouse数据到Hive
背景 公司采购了外部服务，其存储为ClickHouse，按照公司要求需要将其数据采集到Hive。 验证环境 CDH: 6.3.2 ClickHouse: 19.15.4.10 Sqoop: 1.4.7 Driver 需要在脚本中明确指明所使用的Driver完整签名。 ClickHouse使用自定义协 ......
[数据结构] 二分查找 (四种写法)
#二分查找 ##二分查找 二分查找（Binary Search）也叫作折半查找，前提是查找的顺序结构是有序的，我们一般在数组上进行二分查找。 二分查找就好像猜数字大小游戏一样。假设要数字目标值属于 [1, 1000] 范围内，当我们猜的数字小于这个目标值时（"Too low"），我们需要往大去猜；反 ......
[数据结构] 树、二叉树、森林的转换
#树 ##树的表示方法 ###双亲表示法 用一组地址连续的存储单元来存放树中的各个节点，每一个节点中有一个数据域和一个指针域，数据域用来存储树中该节点本身的值；另一个指针域用来存储该节点的双亲节点在存储结构中的位置信息。 采用双亲链表存储方式实现查找一个指定节点的双亲节点比较方便，但难以实现查找一个 ......
[数据结构] 二叉搜索树 (二叉排序树)
#二叉搜索树 ##二叉搜索树的基本概念 二叉搜索树（ Binary Search Tree ）也称二叉排序树，是一种各节点值之间存在一定次序关系的二叉树。 ##二叉搜索树的特点 一般情况下，二叉搜索树中所有节点值是不重复的。 对于二叉搜索树中的每个节点： （1）如果其左子树不为空，那么其左边的节点值 ......
[数据结构]二叉树的前中后序遍历(递归+迭代实现)
#二叉树的遍历 ##主要的三种遍历方式 二叉树主要的遍历方式有前序遍历、中序遍历和后序遍历。 （1）前序遍历：根节点-->左子树-->右子树 （2）中序遍历：左子树-->根节点-->右子树 （3）后序遍历：左子树-->右子树-->根节点 其实还有一种比较基础的遍历方式是层次遍历，但是在本篇文章中不会 ......
[数据结构] 根据前中后序遍历中的两种构造二叉树
#前中后序遍历 ##前中后序遍历的特点 ###前序遍历 前序遍历顺序：根节点 -> 左子树 -> 右子树 前序遍历结果：[根节点，[左子树前序遍历结果]，[右子树前序遍历结果]] 假如把前序遍历结果存到数组中，数组中的第一个元素就是二叉树根节点的数据，而且还可以知道第二个元素是根节点左孩子的数据，即 ......
java反序列化基础
前言：最近开始学习java的序列化与反序列化，现在从原生的序列化与反序列化开始，小小的记录一下 参考文章：https://blog.csdn.net/mocas_wang/article/details/107621010 01.什么是序列化与反序列化 其实java的序列化说白了就是将一个对象转换成 ......
明解STM32—GPIO理论基础知识篇之基本结构
一、前言 万物皆有源头，大家学习单片机的源头操作就是通过GPIO口点灯，GPIO作为STM32最基础的外设，也是大家最先接触的外设。当然，看似基础的GPIO，不仅仅是简单的设置好IO口，让灯亮起就一了百了，了解清楚GPIO的使用特性，根本原理、运行机制对我们在涉及到GPIO的相关设计操作上会应用 ......
【数据结构和算法】Trie树简介及应用详解
Trie树，即字典树，又称单词查找树或键树，是一种树形结构，典型应用是用于统计，排序和保存大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。它的优点是：利用字符串的公共前缀来减少查询时间，最大限度地减少无谓的字符串比较，查询效率比哈希树高。 ......
Fabric2.x中Raft共识算法核心数据结构
一、共识算法可插拔的代码体现Chain接口 Hyperledger Fabric的共识算法是可插拔的，在代码上体现为Chain接口，所有不同的共识算法均可根据Chain接口进行具体实现，目前fabric支持solo、kafka、raft、sbft等共识算法。Chain接口的代码在fabric/ord ......
【Go并发编程】Go使用协程批量获取数据，加快接口返回速度
服务端经常需要返回一个列表，里面包含很多用户数据，常规做法当然是遍历然后读缓存。 使用Go语言后，可以并发获取，极大提升效率。 使用channel package main import ( "fmt" "time" ) func add2(a, b int, ch chan int) { c := ......
百万级数据excel导出功能如何实现？
前言 最近我做过一个MySQL百万级别数据的excel导出功能，已经正常上线使用了。 这个功能挺有意思的，里面需要注意的细节还真不少，现在拿出来跟大家分享一下，希望对你会有所帮助。 原始需求：用户在UI界面上点击全部导出按钮，就能导出所有商品数据。 咋一看，这个需求挺简单的。 但如果我告诉你，导出的 ......
R数据分析：孟德尔随机化中介的原理和实操
中介本身就是回归，基本上我看到的很多的调查性研究中在中介分析的方法部分都不会去提混杂，都是默认一个三角形画好，中介关系就算过去了，这里面默认的逻辑就是前两步回归中的混杂是一样的，计算中介效应的时候就自动消掉了。 但是，实际上对不对，还是有待具体分析的： Traditional, non-instru ......
salesforce零基础学习（一百二十四）Postman 使用
本篇参考： Salesforce 集成篇零基础学习（一）Connected App salesforce 零基础学习（三十三）通过REST方式访问外部数据以及JAVA通过rest方式访问salesforce 我们在项目中也经常遇见下游系统去和我们进行交互的情况，针对 salesforce可以提供 标 ......
区块链特辑——solidity语言基础(三)
Solidity语法基础学习 五、映射类型： 映射型态 Mapping Type 映射钥匙Key → 真实资料 Value mapping(KeyType → ValueType) VariableName ·关键字：mapping ·宣告一个映射，后面需定义钥匙（Key）与资料（Value）的型态 ......
从实战出发，聊聊缓存数据库一致性
在云服务中，缓存是极其重要的一点。所谓缓存，其实是一个高速数据存储层。当缓存存在后，日后再次请求该数据就会直接访问缓存，提升数据访问的速度。但是缓存存储的数据通常是短暂性的，这就需要经常对缓存进行更新。而我们操作缓存和数据库，分为读操作和写操作。 读操作的详细流程为，请求数据，如缓存中存在数据则直接 ......
SpringBoot+Mybatis-plus整合easyExcel批量导入Excel到数据库+导出Excel
一、前言 今天小编带大家一起整合一下easyExcel，之所以用这个，是因为easyExcel性能比较好，不会报OOM！ 市面上常见的导入导出Excel分为三种： hutool easyExcel poi hutool和easyExcel都是对poi的封装，使用起来更加方便！ 如果想使用poi和hu ......
如何优雅地校验后端接口数据，不做前端背锅侠
背景 最近新接手了一批项目，还没来得及接新需求，一大堆bug就接踵而至，仔细一看，应该返回数组的字段返回了 null，或者没有返回，甚至返回了字符串 "null"？？？ 这我能忍？我立刻截图发到群里，用红框加大加粗重点标出。后端同学也积极响应，答应改正。 第二天，同样的事情又在其他的项目上演，我只是 ......
AI换脸实战教学（FaceSwap的使用）---------第二步Tools：处理输入数据集。
续上篇：https://www.cnblogs.com/techs-wenzhe/p/12936809.html 第一步中已经提取出了源视频的人脸照片以及对应人脸遮罩(landmark以及其他自选遮罩) 第二步：利用Tools处理提取号好的数据集，使其对模型的训练产生正向收益。 步骤1：剔除不需要的 ......
Redis缓存何以一枝独秀？(2) —— 聊聊Redis的数据过期、数据淘汰以及数据持久化的实现机制
Redis作为一个非关系型数据库，由于其超高的并发处理性能，及其对缓存场景所提供的系列能力构建，使其成为了集中缓存的绝佳选择。本篇我们聊聊Redis数据管理的能力，如数据过期、数据淘汰、数据持久化等。 ......
表格集算表高性能原理——怎样实现纯前端百万行数据秒级响应
集算表 （Table Sheet）是一个具备高性能渲染、数据绑定功能、公式计算能力的数据表格，通过全新构建的关系型数据管理器结合结构化公式，在高性能表格的基础上提供排序、筛选、样式、行列冻结、自动更新、单元格更新等功能。 什么是集算表（Table Sheet）? 集算表是一个具有网络状行为和电子表格 ......
【Django drf】 序列化类常用字段类和字段参数 定制序列化字段的两种方式 关系表外键字段的反序列化保存 序列化类继承ModelSerializer 反序列化数据校验源码分析
序列化类常用字段类和字段参数 常用字段类 # BooleanField BooleanField() # NullBooleanField NullBooleanField() # CharField CharField(max_length=None, min_length=None, allow ......
linux 基础（2）文件权限及其修改
文件的权限属性 在 linux 中，每个文件都有唯一的“所属者”（user）和“所属群组”（group）。owner 和 group 都对文件有特殊的权限 输入ls -l，就可以详细查看每个文件的权限属性。 我们可以看到，用户名和群组名可以是相同的。一个群组可以只包含一个用户，也可以包含多个用户。 ......
使用Logstash工具导入sqlserver数据到elasticSearch及elk分布式日志中心
首先记下这个笔记，Logstash工具导入sqlserver数据到elasticSearch。 因为logstash使用java写的，我本地开发是win11，所以javade jdk必须要安装。具体安装不介绍了，就是网上下个java8，不要去官网要账号什么的,不是java开发不太折腾，目前只用jav ......