数据库 笔记 数据mysql
mysql-递归查询输出部门组织架构
0. 背景 最近接触到的业务中需要通过mysql查询部门的组织架构层级关系，最一开始的思路是想通过自定义函数来完成，但是查询效率真的是“感人”。又另辟蹊径找到mysql的递归查询，最终很好的实现了业务诉求。回过头来记录一下。 1. 公用表表达式-CTE 公用表表达式是一个命名的临时结果集，不作为对象 ......
Django笔记十之values_list指定字段取值及distinct去重处理
这篇笔记将介绍 reverse、distinct、values 和 values_list 的用法。 本篇笔记目录如下： reverse() values() values_list() distinct() using() 1、reverse() 对 QuerySet 返回的结果进行反转，使用方法 ......
转录组数据分析项目方案的流程
数据准备和质量控制 对原始数据进行质量控制，包括检查质量值、长度、GC含量等。 对原始数据进行去除低质量reads，过滤低复杂度reads，去除adapter序列等预处理。 序列比对和基因计数 使用HISAT2等工具将去除低质量和过滤后的reads比对到人类基因组上。 使用featureCounts ......
mysql 查询每科成绩前3名
本题目使用mysql8.0新特性，窗口函数ROW_NUMBER() OVER()解题 创建表结构 CREATE TABLE tb_score( `id` bigint(20) not null auto_increment PRIMARY KEY comment '主键' , stu_id int, ......
构建之法阅读笔记01
软件=程序+软件工程,软件企业=软件+商业模式,软件开发的不同阶段：玩具阶段→业余爱好阶段→探索阶段→成熟的产业阶段,软件所具有的特殊性：复杂性、不可见性、易变性、服从性、非连续性（由软件的本质所决定的） “代码规范”可以分成两个部分:1.代码风格规范。主要是文字上的规定，看似表面文章，实际上非常重 ......
Mysql安装及基本操作
一、数据库介绍 1. 数据库基本概念 数据库是库中有表，表中有记录 数据（data）： 描述事务的符号记录 包括数字、文字、图形、图像、声音、档案记录 以”记录“形式按统一的格式进行存储 表： 将不同的记录组织在一起 用来存储具体数据 数据库： 表的集合，是存储数据的仓库 以一定的组织方式来存储的相 ......
[Servlet] 笔记
Servlet 创建步骤 创建web项目导入依赖 <dependency> <groupld>javax.servlet</groupld> <artifactld>javax.servlet-api</artifactld> <version>3.1.0</version> <!-- 排除运行环境 ......
MySQL 5 从安装到同步
安装部分 创建用户和组 由于采用直接初始化方式所以用户不会自动创建需要为mysql手动创建用户与组； 创建组 groupadd mongodbtest 创建用户 useradd mongodbtest -g mongodbtest 建立mysql文件夹与上传文件 建立mysql安装文件夹。使用根目录 ......
mysql 查看表的大小方法
mysql 查看表的大小方法： 1.查看所有数据库容量大小 select table_schema as '数据库', sum(table_rows) as '记录数', sum(truncate(data_length/1024/1024, 2)) as '数据容量(MB)', sum(trunc ......
构建之法阅读笔记03
第十一章软件设计与实现的学习； 分析和设计方法 典型的开发流程，常见的分析和设计方法：ERD，DFD，UML，开发阶段的一些管理方法：每日构建，小强地狱，构建大师； 分析和设计方法包括以文字为主的文档，以图形为主构造的模型，用数学语言的描述，用类自然语言+代码构造的描述，原代码加注释也能描述； 图形 ......
[SQLAlchemy]修改 删除数据
import pymysql from sqlalchemy import create_engine from sqlalchemy.orm import sessionmaker from sqlalchemy import Column, String, Integer from sqlalc ......
redis数据库
一、redis基础 1、关系数据库与非关系型数据库概述 1.1、关系型数据库 关系型数据库是一个结构化的数据库，创建在关系模型（二维表格模型）基础上，一般面向于记录。 SQL 语句（标准数据查询语言）就是一种基于关系型数据库的语言，用于执行对关系型数据库中数据的检索和操作。 主流的关系型数据库包括 ......
11-数据库模型配置和迁移
###1. 数据库配置 # 1. 安装mysql数据库驱动 mysqlclient pip install mysqlclient # 如果安装失败就手动下载: https://www.lfd.uci.edu/~gohlke/pythonlibs/ # 黑窗口 python 查看python版本 和 ......
大数据开发的作用主要集中在以下几个方面
大数据开发涵盖了图中从下到上各层的实现，其中主要的部分是采集层、储存层、计算层、模型层和接口层，核心部分是储存层和计算层。 各层中功能模块的技术实现会根据实际业务场景不同而有所变化，但仍然是围绕着储存数据和数值计算这两大核心功能来进行的。 因此，大数据开发的作用主要集中在以下几个方面 1. 资源配置 ......
mongodb分组且提取组内所有数据到一个数组里面方式
db.tempdata.insertMany([ { name: "AAA", age: 14, country: "us" }, { name: "BBB", age: 13, country: "us" }, { name: "CCC", age: 12, country: null }, { ......
jpa数据库一个字段对应实体两个属性
@Column(name ="`exc_status`") @ApiModelProperty(value = "执行状态：字典（0101020302）") private String excStatus; @Column(name ="`exc_status`", insertable = fa ......
超详细【入门精讲】数据仓库原理&实战 一步一步搭建数据仓库 内附相应实验代码和镜像数据和脚本
超详细【入门精讲】数据仓库原理&实战 一步一步搭建数据仓库 内附相应实验代码和镜像数据和脚本，参考B站up主哈喽鹏程视频撰写而成，感谢！！！ ......
读ram 数据然后sum
#include<stdio.h> int main(void) { int sum,b,c,d,e; int a = 0x12345678; b = (a &0xff) ; c = ((a>>8)&0xff); d = ((a>>16) &0xff); e = ((a>>24) &0xff); s ......
jpa转换枚举、转换以及入库数据、状态值发生变化可以不影响前端
import com.peony.common.enums.PlanStatus; import org.apache.poi.ss.formula.functions.T; import javax.persistence.AttributeConverter; import javax.pers ......
MySQL学习笔记-存储引擎
存储引擎 一. MySQL体系结构 MySQL Server 连接层：连接的处理、认证授权、安全方案、检查是否超过最大连接数等。 服务层：SQL接口、解析器、查询优化器、缓存 引擎层：引擎是数据存储和提取的方式，引擎层有许多引擎可供使用，也可以自定义引擎。索引是在存储引擎层实现的。 存储层：存储数据 ......
手把手教你做重复测量方差（文末有数据）
一、重复测量方差说明 在数据分析中，尤其是在医学研究领域，往往存在大量重复数据，比如想要观测某药物疗效或者胎儿生长发育的规律等等，但是重复测量数据往往存在相关问题，也即说明数据之间存在不独立性，所以此类数据有别于一般数据，因而其分析方法也有别于一般的统计分析方法，此类数据就可以使用重复测量方差分析。 ......
【电脑操作技巧】重装系统之后的常用数据恢复方式和基础环境搭建
记录人生第一次重装系统之后的数据恢复过程，包括桌面恢复、常用软件下载和属性修改、vscode插件、zotero数据恢复、onenote笔记数据恢复，让重装系统的你不用慌。 ......
注塑机数据如何采集？工业边缘网关优势凸显
老款的注塑机设备信息化水平低，缺乏实时监控和自主响应，对生产任务的影响大。针对这一现状，可以利用工业边缘网关对注塑机进行信息化、智能化升级，适应物联网时代的发展需要。 ......
使用 SqlBulkCopy 向 destinationTableName 表插入数据
public static class SqlConnectionExtension { /// <summary> /// 使用 SqlBulkCopy 向 destinationTableName 表插入数据 /// </summary> /// <typeparam name="TModel" ......
毕业论文数据分析方法分类汇总
今天将常用的数据分析方法进行一个分类汇总说明，整理如下图： 1、基本描述统计 基本描述统计分析包括频数分析、描述分析、分类汇总；是对收集的数据进行基本的说明。 频数分析一般使用频数、百分比、饼图等形式进行描述。 描述分析常见的指标有平均值、标准差、最大值、最小值、中位数等；更深入的描述指标包括百分位 ......
docker 搭建大数据集群（hive、hbase、ZooKeeper、Scala、Spark）
1）本机系统设置 电脑设置虚拟缓存（设置为自动管理） 虚拟机设置内存和CPU 内存设置为8G（或以上） CPU稍微设置高一点（三个虚拟化能开就开） 虚拟机系统配置阿里源 wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun. ......
毕业论文常见数据格式汇总
今天将各个模块中，具有代表性的分析方法的数据格式进行一个汇总说明，本文主要介绍以下内容： 一、规范格式说明 1、原始数据格式 我们在进行数据分析时，最常见的数据格式是原始数据格式。 下图是一份常见的原始数据，它的特点是：一行代表一个样本，一列代表一个属性（变量）。 原始数据格式的特点是，调查有多少 ......
MySQL事务还没提交，Canal就能读到消息了？
##【问题描述】 开发有天碰到一个很奇怪的问题，他的场景是这样子的： 通过Canal来订阅MySQL的binlog, 当捕获到有数据变化时，回到数据库，反查该数据的明细，然后做进一步处理。 有一次，他碰到一个诡异的现象： 1. Canal收到消息，有一条主键id=31019319的数据插入 2. 1 ......