随笔 数据
轻松绕过 Graphql 接口爬取有米有数的商品数据
有米有数 有米有数数据的 API 接口，使用的是一种 API 查询语言 graphql。所有的 API 只有一个入口，具体的操作隐藏在请求数据体里面传输。 模拟登录，获取 sessionId 调用登录接口，进行模拟登录。 cookies = {} headers = {} json_data = { ......
成功绕过阿里无痕验证码，一键爬取飞瓜数据
成功绕过阿里无痕验证码，一键爬取飞瓜数据 飞瓜数据的登录接口，接入了阿里云的无痕验证码；通过接口方式模拟登录，难度比较高。所以，我们使用自动化的方式来实现模拟登录，并且获取到 cookie 数据。 [阿里无痕验证码] https://help.aliyun.com/document_detail/1 ......
智慧校园智慧教育大数据平台
项目解决方案 智慧校园 基于该学校现状和发展定位，打造“5G+一平台+N应 用”智慧校园解决方案，赋能教学、管理和服务升级， 打造5G+智慧校园的深度应用场景，助力教育智能化发 展。 建设目标 打造5G教育大数据平台，建设目标：5G教育大数据平台 教育智脑 统一身份认证 一站式服务门户建设5G全连接 ......
08-react修改state数据驱动视图UI的更新【注意和vue的区别】
// setState 修改状态 如果是直接修改页面不会改变 使用 setState 修改数据 才会驱动视图的改变 // setState 的原理：修改玩状态之后会调用 render 函数 import ReactDom from "react-dom" import { Component } f ......
数据结构（2）
trie树 主要作用：快速存储、查找字符串 单词的结尾要进行标记，表示“到达该节点，存在一个单词” #include <iostream> using namespace std; const int N = 1e6+10; int son[N][26] ; //字母最多26个 int cnt[N] ......
目标检测环境以及数据集
目标检测环境以及数据集 环境 pyton:3.8 cuda:11.3,cudnn:8302 pytorch:1.12.1 torch:0.13.1 numpy matplotlib pycocotools lxml pillow 数据集 PASCAL VOC 文件目录 ├── VOCdevkit│ ......
使用爬虫利器 Playwright，轻松爬取抖查查数据
使用爬虫利器 Playwright，轻松爬取抖查查数据 我们先分析登录的接口，其中 url 有一些非业务参数：ts、he、sign、secret。 然后根据这些参数作为关键词，定位到相关的 js 代码。 最后，逐步进行代码的跟踪，发现大部分的代码被混淆加密了。 花费了大半天，来还原这些混淆加密的代码 ......
随笔 算是日常感慨
2023/04/29 摆了一天。 早上写着写着作业就跑去研究氨基酸了，把每个氨基酸的结构的玩了一下，结果荒废了一个上午。 中午和 zhr 打了几把 LOL，连胜，我的铁男还升到六级成就了，nice！ 下午写历史，写了一半发现不用写，遂弃。再写政治，写完了之后在床上躺了一会，想着不知道要不要开始写生活 ......
Problem I: 实现一种电厂小型实时数据库系统
Problem Description 电厂控制系统的设备有很多监测点，监测点的传感器将监测到的实时数据传送到厂级监控中心，使工程师能方便的分析电厂设备的运行状态。厂级监控中心需要将这些数据存入数据库（INSERT），并且能查询（QUERY），修改（MODIFY），删除（DELETE）这些数据。这些 ......
Plink中，BGEN格式的数据如何用
这里，介绍一下BGEN格式的数据，他的文件格式是这样的：a.bgen，这是一个新的数据格式，目前应用不如plink的二进制文件：.bim,.bed,.fam。这里介绍一下如何相互转换。 1. bgen格式介绍现代遗传关联研究通常使用数万至数十万个体的数据，这些数据是全基因组数千万标记的基因分型或估算 ......
MySQL常用数据库语句
==数据库==1、创建数据库create database [IF NOT EXISTS] 数据库名; 2、删除数据库drop database [IF EXISTS] 数据库名; 3、切换数据库select database(); 4、查询数据库show databases; —————————— ......
数组模拟实现数据结构
数组模拟链表实现 ① 单链表: 邻接表 (存储图和树) ② 双链表: 优化某些问题 单链表 int e[N] 存储 val , int ne[N] 存储 next //单链表模板 int head,e[N],ne[N],idx; //head表示头节点的下标,e[i]表示节点i的值,ne[i]表示节 ......
python 读写sqlite3 读写内存中的数据库
Python 中，可以使用标准库 sqlite3 来读写 SQLite 数据库。 下面是一个示例代码，展示如何连接到 SQLite 数据库，创建表格，插入数据，查询数据和关闭数据库： import sqlite3 # 连接到数据库 conn = sqlite3.connect('example.db ......
txt读数据
从简单数据集中读取数据： 源码： 1 def DatasetLoader(path): 2 f = open(path,"r") 3 X = [] 4 Y = [] 5 for data in f.readlines(): 6 temp_data = data.split() #将数据分割开来，.s ......
SequoiaDB分布式数据库2023.4月刊
本月看点速览 赋能产业升级，荣获新睿之星 聚焦金融，进一步探索非结构化数据价值释放 再获肯定，入选2023年中国最佳信创厂商入围名单 青杉计划2023已开启，一起攀登更高的“杉” 赋能产业升级，荣获新睿之星 4月18日，2023年第九届广州国际投资年会在广州白云国际会议中心成功举办。会中，南沙为涵盖 ......
stronix就尼玛一垃圾芯片厂商，能不能别把spi的数据写作sda了？能不能别把spi的时钟写成sck了？连带汇晶一起说着，没个争气的
真尼玛的气死了 搞了个显示屏，商家的数据手册写的是串行通讯，，引脚是sda和scl 我一看，这尼玛的是iic啊，打开cubemx 设计 然后画图打板，一气呵成，回来撸代码，死活不显示 我再去问卖家，奥，芯片是ST7567的，好吧，去官网看一下 Mono STN-LCD Driver IC - Sit ......
计算机速成课听课随笔3
#高级CPU设计（简 随着科技技术的增加，人们不断提高CPU的时钟速度，以此来适应越烈越多的指令，此时CPU的处理速度就会超过数据的供应速度 RAM需要时间去找出地址，取数据，配置，通过总线（BUS）输出数据给CPU，CPU空等数据就产生了“延迟” 解决延迟的方法之一就是给CPU加一点RAM，叫做“ ......
InnoDB 数据页结构
不同类型的页简介 前边我们简单提了一下页的概念，它是**InnoDB管理存储空间的基本单位**，一个页的大小一般是16KB。InnoDB为了不同的目的而设计了许多种不同类型的页，比如存放表空间头部信息的页，存放Insert Buffer信息的页，存放INODE信息的页，存放undo日志信息的页等等等 ......
火山引擎云原生数据仓库 ByteHouse 技术白皮书 V1.0 （Ⅵ）
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 近日，《火山引擎云原生数据仓库 ByteHouse 技术白皮书》正式发布。白皮书简述了 ByteHouse 基于 ClickHouse 引擎的发展历程，首次详细展现 ByteHouse 的整体架构设计及自研核心技术 ......
数据库的基本操作
结构化查询语句分类 创建数据表 数据类型 字符串类型 日期和时间型数值类型 NULL值 设置数据表的类型 数据表的存储位置 设置数据表字符集 修改表（ALTER TABLE） 删除数据表 其他 结构化查询语句分类 数据库操作 创建数据库 ：create database [if not exists ......
数据库函数
常用函数 数据函数 字符串函数 日期和时间函数 系统函数 题目 介绍 实现数据加密 常用函数 1. 数据函数 SELECT ABS(-8); /*绝对值*/ SELECT CEILING(9.4); /*向上取整*/ SELECT FLOOR(9.4); /*向下取整*/ SELECT RAND() ......
法律法规数据向量化
https://github.com/lvwzhen/law-cn-ai 把开源的中国法律法规数据（https://github.com/LawRefBook/Laws）向量化，然后接入ChatGPT，这样你就可以用自然语言对法律法规进行问答。下面是问答的效果： 对于一些复杂的案例场景，回答还是不行 ......
NFO20003 数据库
Database Systems INFO20003 A2 S1 2023 Page 1 of 7INFO20003 Semester 1, 2023 Assignment 2: SQLDue: 6:00pm Friday, 28 April 2023Weighting: 10% of your t ......
ArcPy 批处理之 [ 批量采样栅格属性值构建箱型图(BoxPlot)的数据准备]
将单幅栅格影像的属性值参与到箱型图中的一个Box中，考虑像元数量过多，进行1%或者0.5%采样，此处额外统计最小值、最大值、均值和中位数。 ArcPy 代码(此处为3.x 版本，与Python2.7 存在差异)： #encoding:utf-8 import os import arcpy from ......
计算机科学速成课随笔2
中央处理器（CPU） 计算机的心脏就是“中央处理单元”，简称“CPU” CPU负责执行程序，而程序由一步步的操作完成，这些操作就叫做“指令” 但是对于俺们小白来说，详细的理解CPU的各个组件和各个线的分布是不太可能的 我们需要一个高层次的视角叫做“微体系架构”（应该就是抽象的理解一下的意思 想要简单 ......
计算机科学速成课随笔
# ALU（算数逻辑单元）计算机数学的大脑 负责运算的单元 第一个ALU 英特尔 74181（4位输入） ALU有两个单元，一个是算术单元，另一个就是逻辑单元 算术单元，负责计算操作（增量运算。。。）运用逻辑门 计算机中1 代表true， 0 代表false XOR（异或）的逻辑门刚刚好可以满足大部 ......
点云数据旋转
点云数据旋转 #include <iostream> #include <pcl/io/pcd_io.h> #include <pcl/point_types.h> #include <pcl/filters/passthrough.h> #include <pcl/visualization/pc ......
【Python】【MySQL】Python将JSON数据以文本形式存放到MySQL的Text类型字段中
1.起因 在做一个自动打卡的玩意。登录会得到那个平台一系列的信息。我又不想专门修改、增加数据库字段来存放，所有打算直接将返回的JSON数据保存到一个MySQL字段中。 内容肯定不能直接放，考虑下比如数据注入的问题，对吧，容易出问题，所有我是打算将JSON数据转为base64编码的格式。 先写一个专门 ......
《大话数据结构》读书笔记 附PDF #C3
刚刚读完了《大话数据结构》，这本书真的是一本不错的入门级别的数据结构和算法的教材。 首先，作者通过幽默的语言和丰富的图示，使得枯燥的数据结构与算法变得生动有趣。在阅读过程中，我感受到了作者对于知识点深入浅出的讲解，即使是像我这样初学者也能够轻松理解。 其次，书中的配套练习题也很丰富。每个知识点的章节 ......