随笔 数据
python数据结构性能分析
# python数据结构性能分析 [toc] ## 1 案例 实例化一个空列表，然后将0-n范围的数据添加到列表中。（四种方式） ### 1.1 方式一 ```python def test1(num): num_list = [] for i in range(n) num_list += [i] ......
并行计算框架Polars、Dask的数据处理性能对比
在Pandas 2.0发布以后，我们发布过一些评测的文章，这次我们看看，除了Pandas以外，常用的两个都是为了大数据处理的并行数据框架的对比测试。 本文我们使用两个类似的脚本来执行提取、转换和加载(ETL)过程。 测试内容 这两个脚本主要功能包括: 从两个parquet 文件中提取数据，对于小型数 ......
查看sql server数据库连接情况
SELECT * FROM [Master].[dbo].[SYSPROCESSES] WHERE [DBID] IN ( SELECT [DBID] FROM [Master].[dbo].[SYSDATABASES] WHERE NAME='你的数据库名称' ) 系统存储过程 SP_WHO 提供 ......
C语言：数据结构之单链表（二）
上一篇随笔谈了谈单链表是什么东西，然后进行了初始化，这篇随笔就开始对其进行操作了，首先是增，删，改，查的增。 增，顾名思义就是要增加新的元素，单链表是链式的，那就要考虑怎么去加新元素，有三种，从头部添加，从尾部添加，从中间添加。先说说从尾部添加，这个比较好理解，直接在尾部放一个结点然后连起来就好了。 ......
bpf中的数据结构bpf_perf_event_data解析
1 前言 在系统性能运维监控的一些场景中我们往往需要对系统进行"采样"分析，最场景的例子就是perf top/record；在使用ebpf+perf event的情况下，ebpf中使用SEC("perf_event")这个名字的section来作为perf event的prog程序。 这类程序有着固 ......
sqlalchemy连接多个数据库
# sqlalchemy连接多个数据库_异步形式 ```py from fastapi import FastAPI from sqlalchemy import create_engine, Column, Integer, String from sqlalchemy.ext.asyncio i ......
前端Vue自定义暂无数据组件nodata 用于页面请求无数据时展示
#### 随着技术的发展，开发的复杂度也越来越高，传统开发方式将一个系统做成了整块应用，经常出现的情况就是一个小小的改动或者一个小功能的增加可能会引起整体逻辑的修改，造成牵一发而动全身。通过组件化开发，可以有效实现单独开发，单独维护，而且他们之间可以随意的进行组合。大大提升开发效率低，降低维护成本。 ......
基础-数据类型
数据类型（Data Types）： JavaScript具有多种数据类型，包括原始数据类型（如字符串、数字、布尔值、null和undefined）和复合数据类型（如对象和数组）。了解不同的数据类型对于正确处理和操作数据非常重要。 原始数据类型（Primitive Data Types）： 原始数据类 ......
需求评估-不同数据量和场景的技术选型
评估一个需求时，一定要搞清楚数据量和业务场景。 不同的数据量，不同的业务场景，使用的技术是不一样的。 ### 数据常用的中间件 * mysql 数据量：百万级别 事务：支持事务 并发：不支持高并发 * mysql分库分表 数据量：千万级别 事务：支持事务。 并发：支持高并发 全文检索：不支持，左模糊 ......
R语言时间序列TAR阈值自回归模型|附代码数据
原文链接：http://tecdat.cn/?p=5231 最近我们被客户要求撰写关于时间序列TAR阈值自回归的研究报告，包括一些图形和统计输出。 为了方便起见，这些模型通常简称为TAR模型 这些模型捕获了线性时间序列模型无法捕获的行为，例如周期，幅度相关的频率和跳跃现象。Tong和Lim（1980 ......
R语言风险价值：ARIMA，GARCH，Delta-normal法滚动估计VaR（Value at Risk）和回测分析股票数据|附代码数据
全文链接：http://tecdat.cn/?p=24492 最近我们被客户要求撰写关于风险价值的研究报告，包括一些图形和统计输出。 此分析的目的是构建一个过程，以在给定时变波动性的情况下正确估计风险价值。风险价值被广泛用于衡量金融机构的市场风险。我们的时间序列数据包括 1258 天的股票收益 介绍 ......
卡尔曼滤波器：用R语言中的KFAS建模时间序列|附代码数据
原文链接：http://tecdat.cn/?p=6762 最近我们被客户要求撰写关于卡尔曼滤波器的研究报告，包括一些图形和统计输出。 时间序列预测，ARIMA等传统模型通常是一种流行的选择 虽然这些模型可以证明具有高度的准确性，但它们有一个主要缺点 - 它们通常不会解释“冲击”或时间序列的突然变化 ......
R语言马科维茨Markowitz均值-方差(风险投资模型)分析最优投资组合数据预期收益率可视化
全文链接：https://tecdat.cn/?p=33146 原文出处：拓端数据部落公众号 证券及其它风险资产的投资首先需要解决的是两个核心问题：即预期收益与风险。 那么如何测定组合投资的风险与收益和如何平衡这两项指标进行资产分配是市场投资者迫切需要解决的问题。正是在这样的背景下，在50年代和60 ......
数据库-八股文
索引的基本原理-√ ``` 1.索引对应列进行排序 2.将排序结果建立倒排表 3.将数据地址链拼接到倒排表上 4.查询的时候，拿到倒排表，查询到数据地址链，最后取到需要的数据 ``` 索引的设计原则 ``` 1.类型不多的列没必要建索引，占空间，效果还不好 2.由于索引也是要占空间的，而且索引建立完 ......
在 Spring Boot 中使用 Dataway 配置数据查询接口
Dataway介绍 Dataway 是基于 DataQL 服务聚合能力，为应用提供的一个接口配置工具。使得使用者无需开发任何代码就配置一个满足需求的接口。 整个接口配置、测试、冒烟、发布。一站式都通过 Dataway 提供的 UI 界面完成。UI 会以 Jar 包方式提供并集成到应用中并和应用共享同 ......
KingbaseES数据库与系统文件交互函数
## 一、函数列表 ``` sys_ls_archive_statusdir --返回WAL归档状态目录（sys_wal/archive_status）中的每个文件的名称、大小和最后修改时间。 sys_ls_dir --返回指定目录下的所有文件和子目录。 sys_ls_logdir --返回King ......
KingbaseES数据库导入数据invalid byte sequence for encoding
## 一、适用版本： KingbaseES数据库所有版本。 ## 二、问题现象： 使用备份的数据进行还原，还原过程中发生异常。 日志信息： ``` sys_restore: connecting to database for restore sys_restore: creating TABLE ......
KingbaseES数据库安装PostGIS扩展GEOSUnaryunionPrec错误
## 一、问题现象： KingbaseES V008R006C007B0012数据库集群安装PostGIS扩展插件报错。 ``` create extension postgis; ERROR: could not load iibrary "/opt/kingbase/cluster/kingba ......
，软件运行监听地址 ，扫码登录，爬虫介绍，requests模块介绍和快速使用，get请求携带参数，编码和解码，携带请求头，发送post请求携带数据，携带cookie两种方式
# 补充 ```python # 软件运行，监听地址 127.0.0.1 只能访问 127.0.0.1 localhost 不能用本机ip地址访问，外部所有人都不能 访问你 0.0.0.0 127.0.0.1 localhost 本机ip地址访问 同一个局域网内，都可以通过ip地址访问 # 本地ho ......
数据类型
## 常用数据类型 1. 常用的数据类型及其描述： | 数据类型 | 描述 | | | | | `undefined` | 表示变量未定义或未赋值的特殊值。 | | `null` | 表示一个空值。 | | `boolean` | 表示逻辑值，只有两个可能的值：`true`（真）和`false`（假 ......
mongodb数据迁移
### mongodb数据迁移 - 操作 ``` --备份单个表 mongodump -u superuser -p 123456 --port 27017 --authenticationDatabase admin -d myTest -c d -o /backup/mongodb/myTest ......
Elasticsearch 数据迁移
### Elasticsearch 数据迁移 - 使用elaticsearch-dump 方式进行迁移 ``` # 安装nodejs cd /opt wget https://npm.taobao.org/mirrors/node/v10.15.3/node-v10.15.3-linux-x64.t ......
数据结构day1
数据结构的一些基本概念：1、数据。2、数据项、3、数据元素、4、数据结构 5、算法 数据的逻辑结构：1、线型结构 2、树型结构 3、图型结构 数据的存储结构：1、顺序结构 2、链式结构 链式表:1、带头节点的链表 2、不带头节点的链表 功能受限的表结构: 栈：************实现一个函数判断 ......
1. 变量与数据类型
JavaScript ： 它是一种脚本语言，可以用来更改页面内容，控制多媒体，制作图像、动画等等 例子 - 修改页面内容 js 代码位置 ```html ``` 引入 js 脚本 ```html ``` - 注意，到了框架之后，引入方式会有不同 # 1. 声明变量 ## 1.1 let ⭐️ ``` ......
python学习_数据类型
一、python常用的数据类型 数值类型：整数类型 int，如9；浮点数类型float，如3.14159 布尔类型 bool，如True和False，只有这两个值 字符串类型str，如"人生苦短" 二、数值类型 整数类型 可以表示正数、负数和零，整数类型的数据有不同进制表示方式，有如下几种进制表示方 ......
从数据库优化到治病(3)---度过灾难过程
最近突然想起要写下自己在2018年发生的一系列事情，给自己警示和提醒。 2018年上半年的一天晚上，自己突然做了一个梦，梦中有人跟我说："你今年会有灾难，如果度过去就会活到多少多少岁"，梦里听到灾难，我警觉的说，我已经在一个风水师父里请了护身符了，记得我还把护身符给她看。 因为2018年我犯太岁，特 ......
.Net Core 如何数据导出 Excel？（EPPlus->OfficeOpenXml 实现固定列和动态列导出）
对于将数据以 Excel 表格文件输出，还是比较常用的，也存在诸多情况，比如列固定或不固定、数据类型为 List ......
达梦数据库[-3325]：包/对象解析失败问题处理
问题点： 数据库版本升级后，SQL使用自建包执行报错解析失败 解决措施： 可以尝试 SP_CREATE_SYSTEM_PACKAGES(0, 'DBMS_LOB'); SP_CREATE_SYSTEM_PACKAGES(1, 'DBMS_LOB'); 重建系统包 ......
requests返回数据的处理
关于编码： resp.encoding = 'utf-8' resp.encoding = 'gbk' 关于内容三种方法： 一、etree.HTML(resp.text).xpath()： 1、参考网站未整理： https://www.jianshu.com/p/4d3c9cae5470https: ......