数据 爬虫 二手房python

数据库基础概述

(一) 数据库基础 1. 什么是数据库 数据库这个术语的用法很多,一般来说,数据库是一个以某种有组织的方式存储的数据集合。理解数据库的一种最简单的办法是将其想象为一个文件柜。此文件柜是一个存放数据的物理位置,不管数据是什么以及如何组织的。 数据库(database):保存有组织的数据的容器(通常是一 ......
数据库 基础 数据

实验三 控制语句与组合数据类型应用编辑

任务1 import random print('用列表存储随机整数: ') lst = [random.randint(0, 100) for i in range(5)] print(lst) print('\n用集合存储随机整数: ') s1 = {random.randint(0, 100) ......
语句 类型 数据

Django笔记二十五之数据库函数之日期函数

本文首发于公众号:Hunter后端 原文链接:Django笔记二十五之数据库函数之日期函数 日期函数主要介绍两个大类,Extract() 和 Trunc() Extract() 函数作用是提取日期,比如我们可以提取一个日期字段的年份,月份,日等数据 Trunc() 的作用则是截取,比如 2022-0 ......
函数 日期 数据库 笔记 数据

python_07

# coding=utf-8 ''' python中的类和对象: 类(class):用来描述具有相同的属性和方法的对象的集合。它定义了该集合中每个对 象所共有的属性和方法。对象是类的实例。 实例化:创建一个类的实例,类的具体对象。 对象:通过类定义的数据结构实例。对象包括两个数据成员(类变量和实例变 ......
python 07

数据操作--删除数据

1.删除列的三种方法: 2.删除行的三种方法: 3.带条件删除数据: ......
数据

Vue3 watch监视数据

watch监视ref定义的数据视频 watch监视reactive定义的数据视频 2.watch函数 与Vue2.x中watch配置功能一致 两个小“坑”: 监视reactive定义的响应式数据时:oldValue无法正确获取、强制开启了深度监视(deep配置失效)。 监视reactive定义的响应 ......
数据 watch Vue3 Vue

DNA序列数据处理

dna序列数据处理通常包括以下步骤: 数据预处理:首先,需要对原始dna序列数据进行预处理。其中包括测序错误的纠正、碱基质量过滤和去除低质量序列等。这个阶段是非常重要的,因为数据预处理的质量直接影响后续的特征提取和模型学习。 特征提取:在dna序列分析中,会涉及到许多不同的特征提取方法。例如,可以从 ......
数据处理 序列 数据 DNA

go项目中数据库连接,以及redis连接

文件:common/mysql.go 数据库连接文件 package common import ( "gorm.io/driver/mysql" "gorm.io/gorm" "gorm.io/gorm/schema" "log" ) var DB *gorm.DB //全局定义DB var db ......
数据库 项目 数据 redis

扎实打牢数据结构算法根基,从此不怕算法面试系列之008 week01 02-08 通过常见算法,对常见的时间复杂度做梳理

#1、线性查找法的复杂度 public static <E> int search(E [] data,E target){ for (int i = 0; i < data.length; i++) if (data[i].equals(target)) return i; return -1; ......
算法 常见 复杂度 数据结构 根基

记录常用的爬虫代码段(长期更新)

判断文件路径不存在创建文件路径 if not osp.exists(path): os.makedirs(path) 去除字符串非法字符,防止创建文件夹报错 #去掉非法字符 pitow = re.sub('[\/:*?"<>|]','-',name) ......
爬虫 常用 代码

python-悲观锁和乐观锁

乐观锁和悲观锁它们都是一种思想,都是人们定义出来的概念,和语言无关 并发控制:当程序出现并发的问题时,我们需要保证在并发情况下数据的准确性,以保证当前用户在和其他用户一起操作时,得到的结果和他单独操作时得到的结果是一样的,没有做好并发控制,就可能导致脏读、幻读、不可重复读等问题 悲观锁:当要对一条数 ......
python

pathon爬虫实战——爬取某网站的多页番剧内容

(本博客只为技术分学习,无其他用途) 1.准备 涉及的第三方库如下: 2.网页分析 2.1 检验网页 1. 运行浏览器,打开网页,按快捷键F12打开开发者工具,F5刷新页面 2. 在右侧点击Network,打开browser?sort=rank&page=1 文件,可以看到各种信息,查看表头 3. ......
爬虫 实战 内容 pathon 网站

【中介者设计模式详解】C/Java/JS/Go/Python/TS不同语言实现

* 中介者模式是一种行为型设计模式,它可以用来减少类之间的直接依赖关系, * 将对象之间的通信封装到一个中介者对象中,从而使得各个对象之间的关系更加松散。 * 在中介者模式中,对象之间不再直接相互交互,而是通过中介者来中转消息。 ......
中介者 设计模式 中介 语言 模式

Shell多线程备份数据库

Shell这么简单的脚本语言有多线程这一说吗?答案是有的。只不过它实现起来稍微有点难理解罢了,因为它借助了命名管道实现。所谓多线程就是原本由一个进程完成的事情现在由多个线程去完成。假如一个进程需要10小时完成的事情,现在分配10个线程,给他们分工,然后同时去做这件事情,最终可能就需要1小时。 本案例 ......
线程 备份 数据库 数据 Shell

简单的python3脚本:从日志中提取信息

命名:log_extractor.py or download_stats_extractor.py # coding:utf-8 #!/usr/bin/python3 def filter_line(line,contains,contains_not): if all(c in line for ......
脚本 python3 python 日志 信息

python常用模块

一、requests 模块 该模块主要用于发起请求获取响应,该模块有很多替代模块,比如说urllib模块,但是在工作中使用最多的是requests模块,requests的代码语法简单易懂,相对于臃肿的urllib模块,使用requests模块写爬虫会大大减少代码量,而且实现某一功能会更简单,因此推荐 ......
模块 常用 python

图数据库 NebulaGraph 的 Java 数据解析实践与指导

图数据库 NebulaGrpah 的论坛和微信群里,有不少用户问及了 Java 客户端数据解析的问题。在本文教你一种简单的方式同返回结果交互,快速、即时地拿到解析数据。 ......
数据 NebulaGraph 数据库 Java

MySQL数据库事务

什么是数据库事务 数据库事务( transaction)是访问并可能操作各种数据项的一个数据库操作序列,这些操作要么全部执行,要么全部不执行,是一个不可分割的工作单位。事务由事务开始与事务结束之间执行的全部数据库操作组成。 数据库事务的四大特性 数据库事务的四大特性和程序事务相同,即ACID A(A ......
事务 数据库 数据 MySQL

900万大数据量 查询 更新 使用redis 多线程请求

表A中有900多万数据,根据900万数据,查询数据并插入B表 创建一个定时任务,定时查询配置条件,查询更新(查询更新使用多线程)预估时间,设置请求时间跟频率 不想这么干: 可以查看数据执行进度 思路: 设置一个运行队列 runList 里面是待执行的id 设置一个失败队列 failList 里面是执 ......
线程 数据 redis 900

python-SSTI模板注入

一、python_SSTI模板注入介绍 ssti漏洞成因 ssti服务端模板注入,ssti主要为python的一些框架 jinja2 mako tornado django,PHP框架smarty twig,java框架jade velocity等等使用了渲染函数时,由于代码不规范或信任了用户输入而 ......
python-SSTI 模板 python SSTI

python反序列化

这篇文章介绍python反序列化。 0X00 前言 本篇文章搬运大佬k0rz3n的研究文章,写的特别好,存下来学习一下。 0X01 Python 的序列化和反序列化是什么 Python 的序列化和反序列化是将一个类对象向字节流转化从而进行存储和传输,然后使用的时候再将字节流转化回原始的对象的一个过程 ......
序列 python

关于python中的class类犯得迷之错误

昨天在写一个类,修了20几天假,忘了类的写法,刚开始我写成这样 class A(): def _init_(): ...... 然后我想把外面的一个方法c传进A类的方法b中,进行调用,就开始报错:object() takes no parameters, 刚开始很自信,不可能是自己写错,结果啪啪打脸 ......
错误 python class

ClickHouse数据迁移工具之clickhouse-copier

ClickHouse数据迁移工具之clickhouse-copierclickhouse需要从单节点迁移至副本集群中,表结构统一修改为副本表 网上搜到的迁移方式大致为三种。 一、拷贝数据目录 操作流程 在源集群的硬盘上打包好对应数据库或表的 data 和 metadata 数据 拷贝到目标集群对应的 ......

TriliumNote设置数据路径

1、Linux环境 export TRILIUM_DATA_DIR=/home/myuser/data/my-trilium-data 2、windows环境 在系统环境变量中添加即可: TRILIUM_DATA_DIR 3、目录说明 document.db :里面包含了所有的笔记内容 config ......
TriliumNote 路径 数据

【Java】金蝶数据推送设计

金蝶系统的数据控制 先说金蝶对数据的几个状态控制: 新增一个凭证还是基础数据也好,都需要经过(保存 -> 提交 -> 审核) 同样的,如果要删除一条记录,需要(反审核 -> 删除) 我们系统的数据,推送到金蝶系统中,就要经历上述的3个步骤 然后还要支持可以重复推送,那就要先去操作前面的反审核和删除 ......
数据 Java

数据结构与算法学习23

学习要点 一、预习页码:369-396(两次课) 二、预习要求 1、排序的基本概念。排序,排序稳定性(关键字相同,相对位置不变),内排序(排序在内存中),排序算法性能。 2、插入排序。直接插入排序,折半插入排序,希尔排序排序方法,排序算法,算法分析(包括关键字比较和元素移动次数的分析)。其中折半查找 ......
数据结构 算法 结构 数据

数据结构与算法学习19

学习要点 (如有运动会推迟到下一周11.3日) 一、预习页码:252-270 二、预习内容 1、图的相关概念。(自学) 2、邻接矩阵的存储方法。包括无向图(带权或不带权),有向图(带权或不带权)的存储。注意,先存储节点,再根据节点的顺序存储邻接矩阵,对应一个N*N的方阵。如果无权存0,有权存权值。( ......
数据结构 算法 结构 数据

数据结构与算法学习20

学习要点 一、预习页码:重点预习287-297,自学为主298-304 二、预习内容 1、最短路径的概念。 2、Dijkstra算法的设计思想,执行过程,算法设计,算法效率。 3、Floyd算法的设计思想,执行过程,算法设计,算法效率。 4、Dijkstra算法和Floyd算法相似和不同之处。 5、 ......
数据结构 算法 结构 数据

数据结构与算法学习21

学习要点 一、预习页码:314-331 二、预习内容 1、查找的基本概念。包括内查找,外查找,动态查找,静态查找。(自学为主) 2、查找的评价性能指标。平均查找长度ASL,包括ASL成功和ASL不成功两个方面。(自学为主) 3、顺序查找。过程,算法自学,重点学习顺序查找中ASL成功和ASL不成功的分 ......
数据结构 算法 结构 数据

数据结构与算法学习22

学习要点 一,预习页码331-337,348-353 二,预习内容 1.平衡二叉树的基本概念,平衡因子的概念及计算,平衡二叉树的判定,平衡二叉树和二叉排序树的相同点和不同点。(自学) 2.平衡二叉树插入结点的过程,注意基于二叉排序树插入结点的方法,而且时时关注树是否平衡。如果不平衡就调整。 3.平衡 ......
数据结构 算法 结构 数据