数据库 笔记 数据mysql

2023数据采集与融合技术实践作业三

第三次作业 作业①: 要求:指定一个网站,爬取这个网站中的所有的所有图片,例如:中国气象网(http://www.weather.com.cn)。使用scrapy框架分别实现单线程和多线程的方式爬取。 输出信息: 将下载的Url信息在控制台输出,并将下载的图片存储在images子文件中,并给出截图。 ......
数据采集 数据 技术 2023

【算法笔记】动态规划Dynamic Programming

参考视频:5 Simple Steps for Solving Dynamic Programming Problems 引子:最长递增子串(Longest Increasing Subsequence,LIS) LIS([3 1 8 2 5]) = len([1 2 5]) = 3 LIS([5 ......
算法 Programming Dynamic 笔记 动态

sizeof与各数据结构内存占用计算

一、sizeof 1. sizeof介绍 sizeof会计算参数的数据类型所占字节数。 注意事项: 如果是数组类型(非vector),则会返回整个数组所占字节数。 sizeof是运算符,在编译期间确定,因此无法计算动态分配的内存大小,如new等。 2. 实现方式 获取type 使用getTypeIn ......
数据结构 内存 结构 数据 sizeof

《信息安全系统设计与实现》第九周学习笔记

一、 第五章 定时器及时钟服务 1、并行计算 是一种计算方案,它尝试使用多个执行并行算法的处理器更快速的解决问题 顺序算法与并行算法 并行性与并发性 并行算法只识别可并行执行的任务。CPU系统中,并发性是通过多任务处理来实现的 2、线程 线程的原理:某进程同一地址空间上的独立执行单元 线程的优点 线 ......
笔记 系统 信息

数据采集实验作业3

作业①:要求:指定一个网站,爬取这个网站中的所有的所有图片,例如:中国气象网(http://www.weather.com.cn)。使用scrapy框架分别实现单线程和多线程的方式爬取。–务必控制总页数(学号尾数2位)、总下载的图片数量(尾数后3位)等限制爬取的措施。 输出信息: 将下载的Url信息 ......
数据采集 数据

Json数据文件处理中遇到的一些问题总结(C++)

一、海量数据处理的方法总结 参考CSDN技术贴:海量数据处理方法 C++面试必备-海量数据处理 二、快速Json文件解析的库 字节-json快速解析库 三、无锁队列 C++无锁队列 四、C++打包静态库 静态库和动态库 Linux-(C/C++)生成并使用静态库/动态库 c/c++依赖静态库、动态库 ......
文件 数据 问题 Json

linux 导出和导入mysql数据库

https://blog.csdn.net/qq_35453862/article/details/117742619 从华为云导出 导入阿里云 ......
数据库 数据 linux mysql

Python JSON 使用指南:解析和转换数据

JSON 是一种用于存储和交换数据的语法。JSON 是文本,使用 JavaScript 对象表示法编写。 Python 中的 JSON Python 有一个内置的 json 包,可用于处理 JSON 数据。 示例:导入 json 模块: import json 解析 JSON - 从 JSON 转换 ......
使用指南 指南 数据 Python JSON

城市时空预测的统一数据管理和综合性能评估 [实验、分析和基准]《Unified Data Management and Comprehensive Performance Evaluation for Urban Spatial-Temporal Prediction [Experiment, Analysis & Benchmark]》

2023年11月1日,还有两个月,2023年就要结束了,希望在结束之前我能有所收获和进步,冲呀,老咸鱼。 摘要 解决了访问和利用不同来源、不同格式存储的不同城市时空数据集,以及确定有效的模型结构和组件。 1.为城市时空大数据设计的统一存储格式“原子文件”,并在40个不同的数据集上验证了其有效性,简化 ......

mysql新增插入的时候如何写存储过程

sql初始化脚本 create table ACT_RESULT_LOG ( onlineseqid VARCHAR(32), businessid VARCHAR(32), becifno VARCHAR(32), ivisresult VARCHAR(32), createdby VARCHAR ......
过程 时候 mysql

Locust单机多核压测,以及主从节点的数据通信处理

一、背景 这还是2个月前做的一次接口性能测试,关于locust脚本的单机多核运行,以及主从节点之间的数据通信。 先简单交代下背景,在APP上线之前,需要对登录接口进行性能测试。经过评估,我还是优先选择了locust来进行脚本开发,本次用到了locust的单机多核运行能力,只不过这里还涉及到主从节点之 ......
主从 数据通信 节点 单机 数据

【matlab笔记】杂乱版

求Lagrange插值多项式 syms x; X = [1, 3/2, 0, 2] Y = [3, 13/4, 3, 5/3] n = length(X); L = sym('1'); P = sym('0'); for i = 1:n % 求出 Li(x) Li = sym('1'); for j ......
笔记 matlab

Dubbo 学习笔记

目录Dubbo 介绍Dubbo 与 gRPC、Spring Cloud、Istio 的关系Dubbo 与 Spring CloudDubbo 与 gRPCDubbo 与 IstioDubbo 微服务生态基于扩展点的微服务生态协议通信层流量管控层FilterRouterLoad Balance服务治理 ......
笔记 Dubbo

数据结构-ST表

ST表的使用范围: 1.处理静态数组的极值问题 2.尾部增减数组的极值问题 ST表的原理: 1.预处理:ST表的中心思想是动态规划,我们规定数组 Max[i][j] 储存的是数组中从第 i 个元素开始,总共 2^j 个数字的极(大)值,区间末尾位置为 i+2^j-1。输入数组时,直接输入到 Max[ ......
数据结构 结构 数据 ST

[学习笔记]TypeScript查缺补漏(二):类型与控制流分析

@目录类型约束基本类型联合类型控制流分析instanceof和typeof类型守卫和窄化typeof判断instanceof判断in判断内建函数,或自定义函数赋值布尔运算保留共同属性字面量类型(literal type)as const 作用 类型约束 TypeScript中的类型是一种用于描述变量 ......
TypeScript 类型 笔记

sql 对查询结果去重,对重复数据update打标记

1.先分组查询出来重复的 SELECT substring(mgr_addvcd, 1, 6), gate_name from yg_gate_base_b where mgr_addvcd like '3408%' group by substring(mgr_addvcd, 1, 6), gat ......
打标 结果 数据 update sql

学习笔记8

第5章 定时器及时钟服务 本章讨论了定时器和定时器服务;介绍了硬件定时器的原理和基于Intel x86 的PC中的硬件定时器;讲解了CPU操作和中断处理;描述了Linux中与定时器相关的系统调用、库函数和定时器服务命令;探讨了进程间隔定时器、定时器生成的信号。 硬件定时器 定时器是由时钟源和可编程计 ......
笔记

网络流刷题笔记

P2764 最小路径覆盖问题 考虑对于图上的每个节点拆点,拆成入点和出点,所有入点和源点连边,所有出点和汇点连边。 对于原图中的一条边 \((u,v)\),将 \(u\) 的入点和 \(v\) 的出点连边即可。 答案即为 \(n-\text{maxflow}\)。 ......
笔记 网络

HarmonyOS数据管理与应用数据持久化(一)

一. 数据管理概述 功能介绍 数据管理为开发者提供数据存储、数据管理能力,比如联系人应用数据可以保存到数据库中,提供数据库的安全、可靠等管理机制。 ● 数据存储:提供通用数据持久化能力,根据数据特点,分为用户首选项、键值型数据库和关系型数据库。 ● 数据管理:提供高效的数据管理能力,包括权限管理、数 ......
数据 数据管理 HarmonyOS

Linux笔记(4)

linux文件特殊权限 suid、sgid、sticky linux文件的三种特殊权限分别是:suid权限、sgid权限、sticky权限;其中suid权限作用于文件属主,sgid权限作用于属组上,sticky权限作用于other其他上。 SUID权限 作用:让普通用户临时拥有该文件的属主的执行权限 ......
笔记 Linux

PG数据库获取所有视图表及物化视图的列属性sql

SELECT c.relname AS ""table_name"",a.attnum AS ""ordinal_position"", a.attname AS column_name, t.typname AS udt_name, CASE WHEN t.typcategory = 'C' TH ......
视图 图表 属性 数据库 数据

Oracle集群升级迁移—Oracle数据库升级12C-19C

目录Oracle集群升级迁移—Oracle数据库升级12C-19C现有架构升级方式 Oracle集群升级迁移—Oracle数据库升级12C-19C 现有架构 现在的架构为一主一备,主备分别做了RAC ,数据库软件和grid infrastructure版本为12c 升级方式 升级方式如下图 ......
Oracle 集群 数据库 数据 12

NoSql【解决高并发业务场景下关系型数据库表现不足】

为何一、应用场景 NoSql用于超大规模数据的存储。改类型数据存储不需要固定模式,无序多余操作就可以横向扩展。 二、常用类型 2.1、Redis:基于KV存储结构,由于是使用内存存储,所以读写性能都极高,也是高于现在的关系型数据库的。一般如果我们业务中对性能要求比较高的话,就可以使用redis。 2 ......
场景 数据库 业务 数据 NoSql

c++配置链接mysql

一、环境安装 1.Mysql 8.0 2.Microsoft Visual Studio 2017 下载mysql库: 从这位博主的网盘获取动态链接库: 32位/64位 libmysql.dll和libmysql.lib下载_libmysql.dll下载_不吃水果的太空人的博客-CSDN博客 二、环 ......
链接 mysql

无感升级时,接收蓝牙数据,只能接收到后半部分

背景: ota升级过程中不上报脉冲类、模拟量类数据时,升级过程没问题;(接收到升级数据包,发送应答) ota升级过程中上报脉冲类、模拟量数据时,偶尔会接收数据包不完整; 现象: ota升级过程中,接收到的蓝牙数据,只能接收到后半部分; 解决思路: 要确定是发送方发送数据是否完整或接收方接收数据是否完 ......
半部 数据

笔记

MySQL单表多大进行分库分表? 目前主流的有两种说法: MySQL 单表数据量大于 2000 万行,性能会明显下降,考虑进行分库分表。 阿里巴巴《Java 开发手册》提出单表行数超过 500 万行或者单表容量超过 2GB,才推荐进行分库分表。 事实上,这个数值和实际记录的条数无关,而与 MySQL ......
笔记

【LaTex笔记】

多行公式 % \nonumber 表示不加标号 \begin{align} a &= b+c \nonumber\\ &= d+e+f \\ g &= h+i \end{align} 大花括号 \left\{ \begin{array}{l} x \\ y \end{array} \right. 小 ......
笔记 LaTex

学习笔记:费马小定理

费马小定理 定义 若 \(p\) 是质数,且 \(\gcd(a, p) = 1\),则有 \(a^{p - 1} \equiv 1 \pmod{p}\)。 另一个形式:对于任意整数 \(a\),有 \(a^p \equiv a \pmod{p}\)。 证明 设一个质数为 \(p\),我们取一个不为 ......
定理 笔记

学习笔记:关于MySQL的相关基础

show databases; show tables from information_schema; -- 测试一下注释 # 注释 第二种 -- 列出所有的数据库 SHOW databases; -- 查看某一个数据库里面所有的表 USE databasename; use mysql; sho ......
基础 笔记 MySQL

django搭建平台实战教程一:生成数据库数据

首先需要创建一个django-rest-framework项目,如何创建可以参考https://www.django-rest-framework.org/tutorial/quickstart/,不再赘述。 创建完结构如图所示 settings.py配置mysql数据库 ... DATABASES ......
数据 实战 数据库 教程 django