优劣 方式 数据mysql
软考-算法与数据结构1
一、数组和稀疏矩阵 1、 数组 一维数组a[i]：a+i*len 二维数组a[i][j]： 在[0···m][0···n] 按行存储：base+(i*n+j)*len 按列存储：base+(j*m+i)*len 在[1···m][1···n] 按行存储：base+((i-1)*n+(j-1))*le ......
PostMan使用csv/json进行数据参数化
创建csv文件 或者创建json文件 [ { "name": "zhangsan", "age": 18 }, { "name": "lisi", "age": 20 } ] 运行集合脚本的时候选择data文件 在请求接口中输入全局变量 {{grant_type}}的方式进行传递 在Tests中要使 ......
python 中序列ID从fasta文件中批量提取序列数据
001、 [root@pc1 test1]# ls a.fa chr.list test.py [root@pc1 test1]# cat a.fa ## 测试fasta文件 >chr1 tttcccggg >chr2 tttggg ccc >chr3 cccttt >chr4 aaaaattt [ ......
hive大数据测试（时间数据清洗UDF打包到hive中调用自定义函数，hive表数据导出到本机）
1.数据清洗 pom依赖： <properties> <maven.compiler.source>8</maven.compiler.source> <maven.compiler.target>8</maven.compiler.target> <project.build.sourceEnco ......
MySQL删除表的命令是什么
MySQL删除表命令： 删除表命令是DROP TABLE，其基本语法如下： 删除单个表 DROP TABLE table_name; 注：这个命令会直接删除指定表，如果这个表不存在就会报错。另外，删除表之前最好做好备份。 同时删除多个表 DROP TABLE table_name1, table_n ......
文件默认打开方式 + mysql导入错误 + 输入法问题
文件默认打开方式 默认应用修改： 设置—》应用—》默认应用—》按文件类型指定默认应用 mysql导入错误 Unknown collation: 'utf8mb4_0900_ai_ci' Mysql 导入 sql 文件时，出Unknown collation: 'utf8mb4_0900_ai_ci' ......
cefsharp 循环从多个页面提取数据
foreach(var url in urls) { var loaded = false; Action<object, FrameLoadEndEventArgs> frameLoadEndProc = (s, args) => { if (args.Frame.IsMain && args.F ......
数据结构
目录二、数据结构2.1 链表2.1.1 单链表2.1.2 双链表2.2 栈2.3 队列2.4 单调栈2.5 单调队列2.6 KMP算法2.7 Trie树2.8 并查集2.9 手写堆2.10 哈希2.10.1 整数哈希2.10.1.1 拉链法2.10.1.2 开放寻址法2.10.2 字符串哈希（解决字 ......
Apipost连接数据库详解
Apipost提供了数据库连接功能，在接口调试时可以使用数据库获取入参或进行断言校验。目前的Apipost支持：Mysql、SQL Sever、Oracle、Clickhouse、达梦数据库、PostgreSQL、Redis、MongoDB 8种数据库的连接操作 新建数据库连接： 在「项目设置」-「 ......
logstash数据无法写入到es
现象：偶发性某天应用服务日志数据丢失，查看es无数据 架构：filebeat >logstash >es logstash 上报错现象： 2023-10-13T13:05:14,161][WARN ][logstash.outputs.elasticsearch][main] Could not i ......
mysql 分区表
场景：数据库磁盘爆满，使用delete 无法清理磁盘 ，清理会有binlog，redolog ，磁盘无法释放。 个人遇到的真实场景：数据库数据上千万，要清理历史数据，但是delete 删除数据无法释放磁盘，运维老大哥给的方案，先分区表，然后再truncate 这样就能清理历史数据，磁盘也能释放。 操 ......
重温系列一之Mysql索引
来源自己以往有道笔记：https://note.youdao.com/s/F0qv9oxw Mysql索引 索引的出现其实就是为了提高数据查询的效率，就像书的目录一样 1. 索引类型 索引可以提升查询速度，会影响where查询，以及order by排序。 MySQL索引类型如下： 从索引存储结构划分 ......
可以用于科学计算和数据分析项目的工具简介
在科学计算和数据分析项目中，有许多工具可以使用。以下是一些常用的工具和库： 1. Python：Python是一种功能强大的编程语言，它提供了众多用于科学计算和数据分析的库和工具，如NumPy、Pandas、Matplotlib、SciPy等。Python具有简单易学的语法和丰富的生态系统，非常适合 ......
mysql修改自动增长值auto_increment
一、mysql 修改AUTO_INCREMENT的值。注意：修改的auto_increment的值得大于现有主键的最大值。否则，语句不报错，但不会生效。 执行sql如下，“tablename”为数据表名称。 ALTER TABLE tablename auto_increment=1234; 二、修 ......
数据清洗以及相关自动化工具
数据清洗是数据分析过程中非常重要的一步，它旨在准备数据以进行后续的分析和建模。数据清洗的步骤通常包括以下几个方面： 1. 缺失值处理：检测和处理数据中的缺失值，可以通过删除缺失值、插值填充或者使用其他合适的方法来处理。 2. 异常值处理：检测和处理数据中的异常值，可以通过删除异常值、替换为合适的值或 ......
探索性数据分析（EDA）简介及Python代码示例
当进行探索性数据分析（EDA）时，您可以使用各种统计和可视化工具来深入了解数据，并识别其中的模式和趋势。以下是一些常用的EDA技术和方法： 1. 描述性统计：计算每列数据的基本统计指标，例如均值、中位数、标准差等。这可以帮助您了解数据的集中趋势和离散程度。 2. 直方图：绘制每列数据的直方图，以展示 ......
seqkit软件根据染色体名称从fasta文件中批量提取数据
001、 [root@pc1 test1]# ls a.fa chr.list [root@pc1 test1]# cat a.fa ## 测试fasta >chr1 tttcccggg >chr2 tttggg ccc >chr3 cccttt >chr4 aaaaattt [root@pc1 t ......
各个数据库存二进制大文件的性能测试
1前言 有个项目软件前端将二进制大文件存在了indexDB,每次给后端传文件（需要传到底层C++进行调用）都会导致内存占用飙升，想着使用前后端都能共同操作的数据库来解决这个内存占用的问题，并且希望这个更具尽可能的轻量，可以嵌入到程序中是最好的，通过一个安装包进行安装。 2各个数据库的性能比较 2 ......
ORA-28001: the password has expired Smartbi配置数据连接
smartbi config配置数据库连接，报获取数据库连接失败 ORA-28001: the password has expired 密码超时 登录数据库服务器，使用 sqlplus / as sysdba命令，进入oracle数据库 使用：select * from dba_profiles ......
数据分析-数据可视化-matplotlib-01
matplotlib基本函数 2.2.1 函数调用：pyplot、pylab¶ pylot: 创建画板、示例图 pylab: 结合pyplot和numpy函数的调用，功能比较复杂，不建议使用 2.2.2 创建画板(操作对象)¶ plt.figure,设置图形大小，返回figure画板对象 plt.s ......
wireshark 抓包出现两包相同数据
最近在测试时，发现主机通过UDP发送1包数据，会出现wireshark抓到两包相同数据，但是目标处只接收到1包数据的问题。 反复排查，发现只要使用USB转网口，就会出现这个问题。 最后确认是使用混杂模式的原因 怀疑是转接板接收到主机msg后，会将该msg发送出去，不巧的是混杂模式抓到了这包数据，因此 ......
多方式登录
1. 前后端项目上传到gitee 我们看到的好多开源项目，前后端都在一个仓库中 》是为了方便 正常我们开发代码，一个项目一个仓库 1. 后端仓库创建好了，提交过了 》继续提交 - git add . - git commit -m '注释' - git push origin master 2. 前 ......
如何使用Python和Pandas处理SQLite数据库
代码： import sqlite3 import pandas as pd conn = sqlite3.connect('database.db') data = {'A':['x','y','z'],'B':[1000,2000,3000],'C':[10,20,30]} df = pd.Da ......
Python JSON 库对 UTF8 字符的处理方式分析
默认情况 在使用 json 模块的 json.dump 时，默认会将非 ASCII 字符（中文字符等）进行 Unicode 转义，保证最终文件只有 ASCII 字符。 例如下述代码： import json with open("text.json", "w") as f: data = {'1': ......
Sqoop不能正常导出文件到Mysql数据库的问题解决
之前在使用sqoop输入以下命令时 bin/sqoop export \ --connect jdbc:mysql://node1:3306/journal \ --username root \ --password 123456 \ --table top_courses_by_traffic ......