requests性能session python
Python学习多线程、多进程、多协程记录
一、多线程 应用于 请求和IO #1. Python中关于使用多线程多进程的库/模块 #2. 选择并发编程方式 (多线程Thread、多进程Process、多协程Coroutine) 前置知识： 一、三种有各自的应用场景 1. 一个进程中可以启动多个线程 2. 一个线程中可以启动多个协程 二、各自优 ......
.NET8 AOT和JIT的性能，谁更高呢？
一: 有人问:.NET8 AOT和JIT的性能，谁更高呢？ 原文:.NET8 AOT和JIT的性能，谁更高呢？ 其实这个答案非常明显，那就是JIT的性能更高。为什么？原因在哪？因为JIT是随时可能分层编译，动态PGO，CHRL，Non GC Heap，OSR。Quick等极致的优化措施(关于这些措施 ......
用python实现电子公文传输系统中遇到的数据库连接问题
在实现电子公文传输系统时，数据库连接是一个重要的问题。Python中有多种库可以用于数据库连接，比如SQLite、MySQL、PostgreSQL等。下面是一个简单的示例，演示如何使用Python连接MySQL数据库： import mysql.connector # 连接数据库 conn = my ......
python123——西游记相关的分词，出现次数最高的20个
#统计西游记人物出场次数，（去除冠词，代词等干扰）并降序排列p173 import jieba excludes={"一个","那里","怎么","我们","不知","两个","甚么","不是","只见","原来","如何","这个","不曾","不敢","闻言","正是",&q ......
python 报错应对列表
RESTART: D:/Python37/ziti1.py Traceback (most recent call last): File "D:/Python37/ziti1.py", line 1, in <module> import docxModuleNotFoundError: No m ......
[Bash] Send post request with payload to server by using curl
#!/bin/bash # url will be a param been passed in url=$1 curl -X POST http://localhost:3000/endpoint -d "{\"payload\":\"$url\"}" -H "content-type: appl ......
python hash
python 中的 hash 我的博客 程序源码 原书：《Python全栈安全》 这里使用 python 3.8，使用哈希函数计算消息的摘要信息，得到其哈希值(散列值)。在 python 下可以使用如下语句得到消息的哈希值： message='message' hash(message) 哈希具有如 ......
python高级之装饰器
装饰器 前言 装饰器就是类似于女孩子的发卡。你喜欢的一个女孩子，她可以有很多个发卡，而当她戴上不同的发卡，她的头顶上就是装饰了不同的发卡。但是你喜欢的女孩子还是你喜欢的女孩子。如果还觉得不理解的话，装饰器就是咱们的手机壳，你尽管套上了手机壳，但并不影响你的手机功能，可你的手机还是该可以给你玩，该打电 ......
python高级之迭代器
迭代器 什么是迭代器 迭代是python中访问集合元素的一种非常强大的一种方式。迭代器是一个可以记住遍历位置的对象，因此不会像列表那样一次性全部生成，而是可以等到用的时候才生成，因此节省了大量的内存资源。迭代器对象从集合中的第一个元素开始访问，直到所有的元素被访问完。迭代器有两个方法：iter（）和 ......
day20 re requests模块 爬虫
pandas模块：有两种数据类型series：一维DataFrame：二维以及以上 二维最常用一个表格分为 索引 index 列 columns 数据 pandas读出来的文件默认命名为dfdf.indexdf.columnsdf.loc 按照索引取值df.iloc按照行列取值 pandas里面0是 ......
Python Numpy 数据读写
1、二进制文件读写 NumPy提供了几种处理二进制文件的方法，允许高效地读写大型数组数据。方法如下， 1）保存数组到二进制文件 numpy.save(file, arr, allow_pickle=True, fix_imports=True): 将数组保存到以.npy扩展名的二进制文件中。file ......
代理IP的正确打开方式，使用IPIDEA解决性能困境
大家好，我是哪吒。 我有个朋友，刚入职XX小公司的网络爬虫工程师，老板让她爬取一些电商相关数据，好规划下一步的市场规划，时间紧任务重，预算不足。于是她去网上找了免费的IP代理去爬取老板要的电商数据，结果不出所料，搞了大半天也没有获得想要的数据，因为全被目标站点的爬虫应对策略管控了，导致老板很不满意。 ......
Python高级之闭包函数
闭包函数 【一】闭包函数的定义 闭包（Closure）是指在函数内部定义的函数，并且这个内部函数可以访问外部函数的变量。这种机制允许函数保留对它创建时可见的变量的访问权，即使在其生命周期结束后也可以使用。 闭包的主要特点是： 内部函数定义在外部函数内部。 内部函数可以引用外部函数的变量。 外部函数返 ......
Python项目之员工管理系统-函数版
员工管理系统 # 完成以下功能 ''' 员工系统 1:注册 2:登陆 3:添加员工信息 4:查看指定员工信息 5:查看所有员工信息 6:删除指定员工信息 7:删除所有员工信息 8:修改指定员工信息 9:退出系统 ''' from datetime import datetime # 部分文件内容声明 ......
侯哥的Python分享--系列教程
合集 - mysql(26) 1.侯哥的Python分享2019-04-16 2.MySQL基础1-关系型数据库与非关系型数据库2022-03-173.MySQL基础2-数据库及表的操作2022-03-174.MySQL基础3-数据库增删改操作2022-03-175.MySQL基础4-数据查询07- ......
Python办公自动化（一）对比execl内容
Python办公自动化（一）对比execl内容 安装依赖 需要安装的库：openpyxl，pandas 如何安装： 打开命令行（win+R 输入cmd/powershell），输入以下命令 pip install openpyxl pip install pandas 代码 新建一个文件夹 ，新建一 ......
02-python基础学习
Python 简介： python 是一个解释型语言，主要理念就是优雅和简单。 目前市面上存在两个版本的python，2版本现在已经停止更新。因此使用3.x 版本编写的python代码无法使用2.x python 解释器进行处理。 python源文件以 .py 结尾，其中的代码，通过使用 pytho ......
Python——第五章：json模块
什么是json： json 模块是用于处理 JSON（JavaScript Object Notation）数据的模块,翻译过来叫js对象简谱。JSON是一种轻量级的数据交换格式，常用于将数据在不同语言之间进行传递。 我们先来看一段json代码: wf = { "name": "汪峰", "age" ......
【Python爬虫】爬虫框架Scrapy初使用_爬取4399游戏页面数据
Scrapy简介 Scrapy 是一个用于爬取和提取数据的开源web抓取框架。它提供了一个强大的机制，让开发者可以轻松地创建和管理爬虫程序，以从网站上自动提取结构化的数据。 以下是Scrapy的一些主要特点和优势： 强大灵活的爬取能力：Scrapy具有高度可配置的请求处理和数据提取功能。它可以轻松地 ......
nodejs的http.request最大响应体
nodejs的http.request躺坑记录 1、http.request之response.on("data",(chunk:Buffer)=>{})的chunk大小 由于nodejs的response.on("data")每次从服务端读取的chunk大小最大是65535Byte，并且查很多 ......
Mysql count(*)、count(1)、count(主键)、count(普通字段) 性能对比
count(*): 底层会转化为 count(0) 来处理,默认横向扫描聚集索引树,如果有二级索引就扫描二级索引树(因为二级索引树更小,扫描成本低),扫描到一行记录之后,将该记录返回给 Server 层,由于参数是 0,不为 NULL,所以不需要读取记录中的任何字段,直接将 count 变量加 1 ......
day 03-1 Python基础-while 循环
day 03 Python基础 1. while 循环 1.1 循环语句的基本使用 # 示例1 （死循环） print ("开始") while True: print ("123") print ("567") #输出： 开始 123 123 ... # 示例 2 print ("开始") whi ......
requests模块基本使用
1.requests模块基本使用 1.1 使用requests发送get请求 import requests # res 响应对象，http响应，python包装成了对象，响应头，响应头。。。在res中都会有 res=requests.get('https://www.cnblogs.com/Hao ......
Python高级之函数介绍
函数的基本介绍 【一】函数的特点以及使用情形 【1】函数的特点： 封装（Encapsulation）： 函数封装了一段特定的代码，将其作为一个独立的单元。这有助于提高代码的可维护性和可读性。 重用性（Reusability）： 函数可以在程序中的不同位置被调用，实现了代码的重用。通过调用函数，可以避 ......
Python高级之名称空间与作用域
名称空间与作用域 【一】名称空间 名称空间是一个存储变量名称到对象的映射的结构，它允许你在程序中访问和操作变量。在 Python 中，名称空间可以分为以下几种： 内置名称空间（Built-in Namespace）： 包含内置的函数和异常名称，如 print()、len()、ValueError 等 ......
Python中json.load()和json.loads()的区别
一、图解 json.loads()：解析一个有效的JSON字符串并将其转换为Python字典 json.load()：从一个文件读取JSON类型的数据，然后转转换成Python字典 二、json.loads()用法 1、例子 import json data = { "name": "Satyam ......
用python将csv转excel (.xls和.xlsx)的几种方式
excel 后缀有2种格式， .xls 是从 Excel 97 到 Excel 2003 的默认文件格式，而 .xlsx 是 Excel 2007 及更高版本的默认文件格式。 .xlsx和.xls格式的主要区别在于，.xls格式单个工作表最多支持65536行，256列。 .xlsx格式最多支持104 ......
python中x[:] x[::]用法总结
X[:,0] # 二维数组取第１维所有数据 X[:,1] # 第２列 X[0,:] # 第１行 Ｘ[3,:] # 第三行 Ｘ[1:4,:] # 第一二三行 总结一下： 无论是左边还是右边逗号都要靠近冒号： 如果冒号：的左边或者右边还有冒号，这时候就说明其中一个冒号代表的是范围（eg:1:5 从１到４ ......
Python中isdigit、isnumeric、isdecimal
isdigit 字符串的isdigit方法用于判断字符串是否只包含数字，即0-9的字符 print('1233'.isdigit()) # True print('12.33'.isdigit()) # False isnumeric 字符串的isnumeric方法可用于判断字符串是否是数字，数字包 ......