数据 爬虫 二手房python
PYTHON TXT 去空行
with open('file.txt', 'r') as f: lines = f.readlines() with open('file.txt', 'w') as f: for line in lines: if line.strip(): f.write(line) 首先,我们使用`open ......
python 使用 asyncio 执行并发任务
import asyncio async def factorial(name, number): print(f"开始执行 {name}") print(f"Task {name}: factorial({number})") await asyncio.sleep(3) print(f"任务执行 ......
从Pandas快速切换到Polars :数据的ETL和查询
对于我们日常的数据清理、预处理和分析方面的大多数任务,Pandas已经绰绰有余。但是当数据量变得非常大时,它的性能开始下降。 我们以前的两篇文章来测试Pandas 1.5.3、polar和Pandas 2.0.0之间的性能了,Polars 正好可以解决大数据量是处理的问题,所以本文将介绍如何将日常的 ......
Python数据挖掘之关联规则学习
一、关联算法应用介绍 关联规则分析是数据挖掘中最活跃的研究方法之一,目的是在一个数据集中找出各项之间的关联关系,而这种关系并没有在数据中直接表示出来。常见于与购物篮分析。 常用关联算法表如下,简单理解的话,就是测算某几项东西一起出现的概率。比如:如果测算得出,大量订单中出现面包、牛奶这两个东西,那么 ......
虹科干货 | 打破传统!金融界黑科技—虹科Redis企业版数据库
许多传统金融机构面临的“老年病”问题仍在阻碍其数字化转型之路。针对这一挑战,一些具有前瞻眼光的金融初创企业开始采用高性能、高可用的虹科Redis企业版数据库来应对海量实时数据和复杂查询需求,提升服务质量和客户满意度。这不仅有助于金融机构应对数字化变革带来的挑战和压力,更能够满足客户的期望,促进金融行... ......
【获奖案例巡展】信创先锋之星——云上贵州信创工程中心大数据中台
为表彰使用大数据、人工智能等基础软件为企业、行业或世界做出杰出贡献和巨大创新的标杆项目,星环科技自2021年推出了“新科技 星力量” 星环科技科技实践案例评选活动,旨在为各行业提供更多的优秀产品案例,彰显技术改变世界的力量,目前已成功举办两届,收到了来自各界的积极参与。 第二届星环科技科技实践案例评 ......
python字符串操作
Python中用于操作字符串的函数有很多,以下是一些常用的函数及其用法: 1. len():返回字符串的长度 ``` s = "hello, world!" print(len(s)) # 13 ``` 2. str():将对象转换为字符串类型 ``` n = 123 s = str(n) prin ......
python使用内置模块创建虚拟环境
使用 `venv` 创建和管理虚拟环境的步骤如下: 1. 打开命令行终端或者控制台。 2. 进入到你要创建虚拟环境的目录。 3. 运行以下命令创建虚拟环境: ``` python3 -m venv myenv ``` 其中,`myenv` 是你要创建的虚拟环境名称。 4. 运行以下命令激活虚拟环境: ......
使用存储过程自动备份数据库
一、创建存储过程完全备份数据库 USE [某某数据库]GO/****** Object: StoredProcedure 某某数据库 Script Date: 2023/4/20 9:30:38 ******/SET ANSI_NULLS ONGOSET QUOTED_IDENTIFIER ONGO ......
征信报送系统数据库部分调优指南
征信报送系统数据库部分调优指南 此文档用于征信报送系统实施过程中数据库部分调优的 目 录 1.前言 2.数据库调优基本原理及内容 3.数据库的安装 4.数据库的基本设置 5.数据库的基本观测手段 6.实施过程中基本调优方法 7.报送系统数据库调优方法 8.实施过程中常见故障及排除 1.前言 东华征信 ......
Day 25 25.1 Scrapy框架之全站爬虫(CrawlSpider)
Scrapy框架之全站爬虫(CrawlSpider) 在之前 Scrapy 的基本使用当中,spider 如果要重新发送请求的话,就需要自己解析页面,然后发送请求。 而 CrawlSpider 则可以通过设置 url 条件自动发送请求。 LinkExtractors CrawlSpider 是 Sp ......
Day 25 25.2 Scrapy框架之分布式爬虫(scrapy_redis)
分布式爬虫(scrapy_redis) 分布式爬虫是指将一个大型的爬虫任务分解成多个子任务,由多个爬虫进程或者多台机器同时执行的一种爬虫方式。 在分布式爬虫中,每个爬虫进程或者机器都具有独立的爬取能力,可以独立地爬取指定的网页或者网站,然后将爬取到的数据进行汇总和处理。 分布式爬虫相对于单机爬虫的优 ......
python3 猜数字小游戏
Guess_the_Number.py import random # Generate a random number between 1 and 100 number = random.randint(1, 100) # Set the initial number of guesses to ......
提高mysql千万级大数据SQL查询优化30条经验(Mysql索引优化注意)
对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。 应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:select id from t where num is null可以在num上设置 ......
python目录
编写表 编写表 分数和课程是一对多的关系 这里设置了外键 String需要长度 python目录 新建app会有一个初始化文件 app包的内容 主要是每次需要链接数据库的排至,直接 放到初始化文件中去 model相关的类,也要专门一个文件夹 同时导入包 路由相关的也要专门的文件夹 init需要导入r ......
js数据类型
1、介绍 js是弱类型语言。 2、数值 var x1=34.00; //使用小数点来写 var x2=34; //不使用小数点来写 var y=123e5; // 12300000 3、字符串 s = 'abc' s1 = "abc" s2 = /xss/ //输出/xss/,连同/字符 4、布尔 ......
JavaScript-构造表单并提交数据
// 使用form表单实现post方式文件下载 downloadPost: function(url, data){ var body = document.getElementsByTagName('body')[0]; var form = document.createElement('for ......
数据结构 玩转数据结构 12-8 基于AVL树的集合和映射
0 课程地址 https://coding.imooc.com/lesson/207.html#mid=14353 1 重点关注 1.1 本节要点 基于avl树的map和set实现及性能测试 2 课程内容 2.1 性能测试 见3.1和3.2 3 Coding 3.1 coding Set的avl树实 ......
在 SSH 中,您可以使用以下命令来检查宝塔是否拥有最高权限创建数据库:
在 SSH 中,您可以使用以下命令来检查宝塔是否拥有最高权限创建数据库: 复制 id -gn $(id -u) 如果命令的输出结果为 root,则宝塔享有最高权限。这是因为宝塔需要拥有 root 用户权限才能够创建数据库。 ......
实现电脑上安装两个数据库
之前一直实现不了Android Studio远程连接数据库,查了好久的资料最终将问题定位到MySQL上 虽然不清楚为什么,但是Android Studio远程连接MySQL数据库时需要使用MySQL5+,使用8+版本会报错 但是网上好多在将下载5+出现报错,最后删除8+才成功——但是我不能删8+啊T ......
LeetCode Top100: 只出现一次的数字(python)
给你一个 非空 整数数组 nums ,除了某个元素只出现一次以外,其余每个元素均出现两次。找出那个只出现了一次的元素。 你必须设计并实现线性时间复杂度的算法来解决此问题,且该算法只使用常量额外空间。 示例 1 : 输入:nums = [2,2,1] 输出:1 示例 2 : 输入:nums = [4, ......
R语言单位根、协整关系Granger因果检验、RESET分析汇率在岸和离岸数据时间序列
全文链接:http://tecdat.cn/?p=32188 原文出处:拓端数据部落公众号 单位根的随机性趋势与协整关系对实证分析中时间序列的影响是不容小觑的。检验的目的在于更好的分辨数据特性、甄选模型,以达到或能预测或能证实因果关系或否定以上两者的结果。 单位根检验 基本思路 在进行时间序列分析时 ......
python基础十一(异常)
1、什么是异常异常是程序发生错误的信号,程序一旦出错就会抛出异常,程序的运行随即终止1)异常处理的三个特征异常的追踪信息异常的类型异常的内容2、为何处理异常为了增强程序的健壮性,即便是程序运行过程中出错了,也不要终止程序而是捕捉异常并处理:将出错信息记录到日志内3、如何处理异常1)语法上的错误Syn ......
Spring连接数据库
Spring又来啦! 这次致力于使用Spring实现连接数据库 1、Spring连接数据库 //application.properties spring.thymeleaf.mode=HTML5 spring.thymeleaf.encoding=UTF-8 spring.thymeleaf.se ......
python面向对象(反射、内置方法、元类)
一 反射 # 静态语言:在执行前就定义好数据类型 # var x int=8 # 动态语言:在执行的时候,才识别数据类型 # x = 8 # 什么是反射? # 指的是在程序运行过程中可以“动态”获取对象的信息 # 为何要用反射? # 函数调用对象时,不知道对象下面,有哪些属性,所以要用到反射 # 如 ......
实验三 控制语句与组合数据类型应用编辑
实验任务1 代码 1 import random 2 print('用列表存储随机整数: ') 3 lst = [random.randint(0, 100) for i in range(5)] 4 print(lst) 5 print('\n用集合存储随机整数: ') 6 s1 = {rando ......
从遥感数据下载到辐射定标大气校正的全过程
最近需要某市的遥感数据,去淘宝搜索后发现15m分辨率的全市图像需要80块钱,自己探索一下遥感图像处理的全过程。 1.遥感数据选择Landsat8 OLI(Operational Land Imager 陆地成像仪)传感器的数据,属于使用非常广泛的遥感数据,免费且易于下载,有较多日期的数据可以选择。 ......
ZJPC第三届电子数据取证大赛——逆向部分详解
取证校赛,专于逆向题目,结果发现逆向题根本没给多少分,所以吃了大亏…… 这里主要分析两个部分——手机软件逆向和勒锁病毒程序逆向 手机部分 这里仅分析apk。在这之前的对手机基本信息采集的题目就恕我不多讲了。 49. 手机中有一APK具有文件加解密功能,请找出该APK,其签名有效期终止年份为 有很多师 ......
python接口自动化
# coding=utf-8 ''' python中常用的做接口自动化测试的库有哪些? requests、urllib、urllib3、httplib requests是开源免费的,应用最多的一个库 ''' # import requests #创建接口请求三种方法 #r=requests.post ......
python接口自动化2关联接口
# coding=utf-8 """ 深圳多测师信息技术有限公司 作者:多测师-小程 日期:2023年03月30日 """ #关联接口:上一个接口的返回参数作为下一个接口的入参 # import requests # import re # class Province(): # def get_p ......