数据 爬虫 二手房python
2023数据采集与融合技术实践作业四
实验四 作业①： 要求： 熟练掌握 Selenium 查找HTML元素、爬取Ajax网页数据、等待HTML元素等内容。 使用Selenium框架+ MySQL数据库存储技术路线爬取“沪深A股”、“上证A股”、“深证A股”3个板块的股票数据信息。 候选网站：东方财富网：http://quote.eas ......
2023数据采集与融合技术实践作业四
2023数据采集与融合技术实践作业4 实验4.1 要求： 熟练掌握 Selenium 查找 HTML 元素、爬取 Ajax 网页数据、等待 HTML 元素等内 容。 使用 Selenium 框架+ MySQL 数据库存储技术路线爬取“沪深 A 股”、“上证 A 股”、“深证 A 股”3 个板块的股票 ......
数据采集与融合技术实践作业四
数据采集与融合技术实践作业四 gitee仓库链接：gitee仓库链接 102102141 周嘉辉 作业① 熟练掌握 Selenium 查找HTML元素、爬取Ajax网页数据、等待HTML元素等内容。 使用Selenium框架+ MySQL数据库存储技术路线爬取“沪深A股”、“上证A股”、“深证A股” ......
python相关命令
管理员权限：set-executionpolicy remotesignedpython -Vnvidia-smipython -m venv venv ./vevn/Scripts/activate.bat or venv\Scripts\Activate.ps1 pip3 install tor ......
Python实现端口扫描
实验环境 攻击主机IP：172.18.53.145 目标主机IP：172.18.53.28 脚本编写 思路：遍历连接目标的所有端口，如果连接成功说明该端口开放，为了提升效率，使用多线程执行 代码实现如下： import threadpool import socket ip = input("Ent ......
【re】brainfuck转python代码
直接用脚本： def shrinkBFCode(code): cPos2Vars = {} #位置对应的变量 cPos2Change = {} #位置中 + 号 增加的值 varPos = 0 nCode = [] incVal = 0 lc = None dataChangeOp = set([' ......
论文精读：用于少样本目标检测的元调整损失函数和数据增强（Meta-tuning Loss Functions and Data Augmentation for Few-shot Object Detection）
论文链接：Meta-Tuning Loss Functions and Data Augmentation for Few-Shot Object Detection Abstract 现阶段的少样本学习技术可以分为两类：基于微调（fine-tuning）方法和基于元学习（meta-learning ......
102102126 吴启严 数据采集与融合技术实践作业四
第四次作业 码云链接 一、作业内容 作业①: 要求： 熟练掌握 Selenium 查找HTML元素、爬取Ajax网页数据、等待HTML元素等内容。 使用Selenium框架+ MySQL数据库存储技术路线爬取“沪深A股”、“上证A股”、“深证A股”3个板块的股票数据信息。 候选网站：东方财富网：ht ......
代码随想训练营第三十六天（Python）｜ 435. 无重叠区间、763.划分字母区间、56. 合并区间
435. 无重叠区间 class Solution: def eraseOverlapIntervals(self, intervals: List[List[int]]) -> int: intervals.sort(key=lambda x: x[0]) count = 0 for i in r ......
SQL server 恢复数据库
1、查找已置疑的数据库文件存放位置； 2、将SQL数据库停止； 3、将置疑的数据库的数据文件RongShiYKT.mdf、RongShiYKT_Log.Ldf文件拷贝到其他目录备份； 4、重启SQL数据库，将置疑的数据分离 5、重建一个与置疑数据库同名称的新数据库RongShiYKT； 6、停止SQ ......
python小技巧-sql语句IN在python中的格式化
例如sql语句可能是： sql='''select * from test_table where 1 and id_no IN ({0}) ''' 需要在python之中对sql进行格式化，先有id_no_list： id_no_list=['123','456','678','111',] 对s ......
常用的Python代码片段（通用）
递归Merge数据表 df = functools.reduce( lambda left, right: pd.merge(left, right, how='left',on=['id','year']), [maps, pp,pp_doy_rainDayCounts,pp_moy_rainZs ......
常用的Python代码片段（地理相关）
把pandas的dataframe转为geopandas的地理格式（df to geodf） def df2gdf(df, lon_col='longitude', lat_col='latitude', epsg=4326, crs=None): gdf = gpd.GeoDataFrame(df ......
python初学者学习笔记-第十章-pandas
Chapter10/pandas 10.1 dataframe简介 dataframe是pandas中最基础的数据结构，当然它也是pandas中最常见的对象，它跟表格类似。 dataframe的行和列是分别存储的数据集；这种存储方式，加快了列和行的操作效率。 10.1.1 创建dataframe 一 ......
记一次爬虫实战
记一次爬虫实战 记一次爬虫实战，以爬取我最近在看的小说《不可名状的日记簿》为例。 先找到一个合适的网站https://www.qbtxt.co/93_93964/。 用的是https协议，socket什么的太麻烦了，直接用python的requests库。 写一个封装好的python程序，作用是爬取 ......
Selenium 3.0 + Python自动化测试框架
文档说明 Selenium是一个用于Web应用程序自动化测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。 Selenium测试的主要功能包括： 测试与浏览器的兼容性：测试应用程序是否能很好的工作在不同的浏览器和操作系统之上。 测试系统功能：创建回归测试，检验软件功能和用 ......
Python简史
Python 的历史可以追溯到上世纪80年代末和90年代初，由荷兰计算机科学家 Guido van Rossum 在荷兰国家研究所 (CWI) 开发而成。以下是 Python 的详细历史： 1980 年代： Python 的起源可以追溯到 1980 年代末期。Guido van Rossum 作为一 ......
Python：dcm转jpg脚本
import pydicom from PIL import Image import numpy as np import os def convert_dicom_to_jpeg(dicom_file_path, output_folder): # 读取DICOM文件 dicom_file = ......
python tkinter treeview 仿 excel表格
代码： from tkinter import ttk from tkinter import * root = Tk() # 初始框的声明 columns = ("姓名", "IP地址") treeview = ttk.Treeview(root, height=18, show="heading ......
软件测试|Python openpyxl库使用指南
简介 我们之前介绍过，python在自动化办公方面可以大放异彩，因为Python有许多的第三方库，其中有很多库就支持我们对office软件进行操作，熟练的使用Python对office进行操作，可以实现自动化办公，极大提升我们的工作效率。本篇文章，我们就来介绍一下处理Excel的第三方库，openp ......
centos上Python3.10报错 No module named ‘_ssl‘
在搭建web服务器时，需要使用Gunicorn 模块，可在使用Gunicorn 启动时，报错No module named ‘_ssl‘，历经周折解决了这个问题，解决过程记录如下： 说明1：Gunicorn 是一个unix上被广泛使用的高性能的Python WSGI UNIX HTTP Server ......
软件测试|Python数据可视化神器——pyecharts教程（八）
Pyecharts绘制热力图 当涉及可视化数据时，热力图是一种强大的工具，它可以帮助我们直观地了解数据集中的模式和趋势。在本文中，我们将学习如何使用 Python 中的 Pyecharts 库创建热力图，以便将数据转化为可视化的形式。 什么是热力图？ 热力图是一种用于显示数据密度的二维图表，其中颜色 ......
软件测试|Python urllib3库使用指南
简介 当涉及到进行网络请求和处理HTTP相关任务时，Python的urllib3库是一个强大且灵活的选择。它提供了一种简单的方式来执行HTTP请求、处理响应和处理连接池，使得与Web服务进行交互变得更加容易。本文将详细介绍如何使用urllib3库进行网络请求。 安装urllib3 首先我们需要安装u ......
软件测试|Python Faker库使用指南
简介 Faker是一个Python库，用于生成虚假（假的）数据，用于测试、填充数据库、生成模拟数据等目的。它可以快速生成各种类型的虚假数据，如姓名、地址、电子邮件、电话号码、日期等，非常适合在开发和测试过程中使用。本文将介绍Python Faker库的详细使用。 安装Faker库 首先，我们要先安装 ......
GBN/SR 数据链路层的滑动窗口协议
1. 停等协议 -- 滑动窗口协议 发送数=1， 接收数=1 2. GBN 协议 -- 滑动窗口协议 发送数=N， 接收数=1 3. SR 协议 ......
python读取pdf中的表格
""" python 读取pdf中的表格 社保信息 数据 """ import pandas as pd import pdfplumber pd.set_option('display.width', None) pd.set_option('display.max_rows', None) pd ......
Python3 协程 await async 相关的用法和笔记
想要提供可以进行协程切换的awaitable，可以使用下面的方法： 1 任务task async def func(): print("yes Wait") task = asyncio.create_task(func()) await task 2 协程对象，可以使async def 定义的协程 ......
人大金仓数据库设置大小写敏感
1. 人大金仓数据库应设置大小写不敏感 1.1. 大小写敏感检查方法 1.1.1. V8R3版本检查方法： 在人大金仓数据库客户端执行语句：show case_sensitive; 返回结果on:表示大小写敏感； 返回结果off：表示大小写不敏感 1.1.2. V8R6版本检查方法： 执行语句：sh ......
SpringBoot模拟插入1000000万条数据
一、数据库表准备 CREATE TABLE `student` ( `id` bigint NOT NULL COMMENT '用户id', `name` varchar(50) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '姓名', `addre ......