数据库 笔记 数据mysql
学习笔记5
第11章 EXT2文件系统 1. EXT2文件系统数据结构 1 通过mkfs创建虚拟硬盘 命令:mke2fs [-b blksize -N ninodes] device nblocks 2 虚拟磁盘布局 Block#0:引导块 B0是引导块,文件系统不会使用,他用来容纳一个引导程序,从此盘引导操作 ......
Java注解笔记
当配置完Spring扫描指定包及其子包中的类时,会识别所有标记了@Component、@Controller、@Service、@Repository注解的类,由于@Configuration注解本身也用@Component标注了,Spring将能够识别出 @Configuration标注类 TOD ......
Apipost连接数据库详解
Apipost提供了数据库连接功能,在接口调试时可以使用数据库获取入参或进行断言校验。目前的Apipost支持:Mysql、SQL Sever、Oracle、Clickhouse、达梦数据库、PostgreSQL、Redis、MongoDB 8种数据库的连接操作 新建数据库连接: 在「项目设置」-「 ......
logstash数据无法写入到es
现象:偶发性某天应用服务日志数据丢失,查看es无数据 架构:filebeat >logstash >es logstash 上报错现象: 2023-10-13T13:05:14,161][WARN ][logstash.outputs.elasticsearch][main] Could not i ......
mysql 分区表
场景:数据库磁盘爆满,使用delete 无法清理磁盘 ,清理会有binlog,redolog ,磁盘无法释放。 个人遇到的真实场景:数据库数据上千万,要清理历史数据,但是delete 删除数据无法释放磁盘,运维老大哥给的方案,先分区表,然后再truncate 这样就能清理历史数据,磁盘也能释放。 操 ......
重温系列一之Mysql索引
来源自己以往有道笔记:https://note.youdao.com/s/F0qv9oxw Mysql索引 索引的出现其实就是为了提高数据查询的效率,就像书的目录一样 1. 索引类型 索引可以提升查询速度,会影响where查询,以及order by排序。 MySQL索引类型如下: 从索引存储结构划分 ......
可以用于科学计算和数据分析项目的工具简介
在科学计算和数据分析项目中,有许多工具可以使用。以下是一些常用的工具和库: 1. Python:Python是一种功能强大的编程语言,它提供了众多用于科学计算和数据分析的库和工具,如NumPy、Pandas、Matplotlib、SciPy等。Python具有简单易学的语法和丰富的生态系统,非常适合 ......
数据清洗以及相关自动化工具
数据清洗是数据分析过程中非常重要的一步,它旨在准备数据以进行后续的分析和建模。数据清洗的步骤通常包括以下几个方面: 1. 缺失值处理:检测和处理数据中的缺失值,可以通过删除缺失值、插值填充或者使用其他合适的方法来处理。 2. 异常值处理:检测和处理数据中的异常值,可以通过删除异常值、替换为合适的值或 ......
探索性数据分析(EDA)简介及Python代码示例
当进行探索性数据分析(EDA)时,您可以使用各种统计和可视化工具来深入了解数据,并识别其中的模式和趋势。以下是一些常用的EDA技术和方法: 1. 描述性统计:计算每列数据的基本统计指标,例如均值、中位数、标准差等。这可以帮助您了解数据的集中趋势和离散程度。 2. 直方图:绘制每列数据的直方图,以展示 ......
mysql修改自动增长值auto_increment
一、mysql 修改AUTO_INCREMENT的值。注意:修改的auto_increment的值得大于现有主键的最大值。否则,语句不报错,但不会生效。 执行sql如下,“tablename”为数据表名称。 ALTER TABLE tablename auto_increment=1234; 二、修 ......
seqkit软件根据染色体名称从fasta文件中批量提取数据
001、 [root@pc1 test1]# ls a.fa chr.list [root@pc1 test1]# cat a.fa ## 测试fasta >chr1 tttcccggg >chr2 tttggg ccc >chr3 cccttt >chr4 aaaaattt [root@pc1 t ......
《Hive性能优化实战》读书笔记
写在前面 《Hive性能优化实战》是比较不错的一本hive技术书籍,介绍了hive相关的一些技术,一些基本的理论,看完能对hive优化方面略有了解; 但有俩地方每种不足,一是没有那么多的实际的综合情况分析优化案例,这个有点可惜,要是多几个案例就很不错了;而是执行计划部分大多数 整本书最吸引人的地方在 ......
Java学习笔记二
Java学习笔记二 面向对象(Object Oriented) 属性(成员变量)跟随对象放在堆里面,局部变量(如 p1)放在栈里面。只有成员变量的前面能添加权限修饰符,且成员变量自带默认值。 在一个类中,一个方法可以调用这个类中的其余方法(包括自身,即递归)以及成员变量,不能在方法中再定义方法。 方 ......
各个数据库存二进制大文件的性能测试
1前言 有个项目软件前端将二进制大文件存在了indexDB,每次给后端传文件(需要传到底层C++进行调用)都会导致内存占用飙升,想着使用前后端都能共同操作的数据库来解决这个内存占用的问题,并且希望这个更具尽可能的轻量,可以嵌入到程序中是最好的,通过一个安装包进行安装。 2各个数据库的性能比较 2 ......
ORA-28001: the password has expired Smartbi配置数据连接
smartbi config配置数据库连接,报获取数据库连接失败 ORA-28001: the password has expired 密码超时 登录数据库服务器,使用 sqlplus / as sysdba命令,进入oracle数据库 使用:select * from dba_profiles ......
数据分析-数据可视化-matplotlib-01
matplotlib基本函数 2.2.1 函数调用:pyplot、pylab¶ pylot: 创建画板、示例图 pylab: 结合pyplot和numpy函数的调用,功能比较复杂,不建议使用 2.2.2 创建画板(操作对象)¶ plt.figure,设置图形大小,返回figure画板对象 plt.s ......
wireshark 抓包出现两包相同数据
最近在测试时,发现主机通过UDP发送1包数据,会出现wireshark抓到两包相同数据,但是目标处只接收到1包数据的问题。 反复排查,发现只要使用USB转网口,就会出现这个问题。 最后确认是使用混杂模式的原因 怀疑是转接板接收到主机msg后,会将该msg发送出去,不巧的是混杂模式抓到了这包数据,因此 ......
如何使用Python和Pandas处理SQLite数据库
代码: import sqlite3 import pandas as pd conn = sqlite3.connect('database.db') data = {'A':['x','y','z'],'B':[1000,2000,3000],'C':[10,20,30]} df = pd.Da ......
Sqoop不能正常导出文件到Mysql数据库的问题解决
之前在使用sqoop输入以下命令时 bin/sqoop export \ --connect jdbc:mysql://node1:3306/journal \ --username root \ --password 123456 \ --table top_courses_by_traffic ......
编译安装CENTOS7.6+NGINX1.8+MYSQL5.7+PHP7.9+ZABBIX5.0
LNMP系统安装环境准备: 系统版本:CentOS Linux release 7.6.1810 (Core) PHP版本:php-7.4.9 NGINX版本:nginx-1.19.2 MYSQL版本:MySQL 5.7.43 zabbix版本:zabbix-5.0.3 以下为下载地址 PHP Ng ......
数据结构——左偏树/可并堆学习笔记
引入 作为树形数据结构的一员——堆,对于取极值拥有着优秀的复杂度,但是,合并两个堆却成为了一个问题。除了朴素算法外,还有什么算法可以合并两个堆呢? 正文 那么,可并堆是个啥呢?简单来说,它是一个支持合并操作的二叉堆(好像是废话)。 首先,简单介绍一下二叉堆的性质,学过的读者可自行跳过。 二叉堆是一棵 ......
java运行时数据区
Java运行时数据区域 众所周知,Java 虚拟机有自动内存管理机制,如果出现内存泄漏和溢出方面的问题,排查错误就必须要了解虚拟机是怎样使用内存的。 包含:程序计数器(PC)、堆、本地方法栈、虚拟机栈、元空间 下图是 JDK8 之后的 JVM 内存布局。 程序计数器(PC) 内存中一块较小的空间,每 ......
《Mastering the FreeRTOS Real Time Kernel》读书笔记(4)软定时器
5.软件定时器管理 软件定时器由FreeRTOS内核实现,并受其控制。它们不需要硬件支持,也与硬件计时器或硬件计数器无关。 软件定时器功能是可选的。包括软件定时器功能:1。作为项目的一部分,构建FreeRTOS源文件FreeRTOS/source/timers.c。2.在FreeRTOSConfig ......
WPF中Image控件绑定数据源,解决图片被占用问题
WPF中Image控件的数据源如果设置为路径,或者后台通过Image.FromFile来绑定,该图片将被占用,如要进行图片压缩、删除等操作则会报错;所以可以从内存中加载图片进行绑定。 以下为MVVMLight模式,首先增加一个图片路径值转换的类 public class ImageConvert : ......
可观测性数据收集集大成者 Vector 介绍
如果企业提供 IT 在线服务,那么可观测性能力是必不可少的。“可观测性” 这个词近来也越发火爆,不懂 “可观测性” 都不好意思出门了。但是可观测性能力的构建却着实不易,每个企业都会用到一堆技术栈来组装建设。比如数据收集,可能来自某个 exporter,可能来自 telegraf,可能来自 OTEL, ......