爬虫pytesseract requests selenium
Day 25 25.1 Scrapy框架之全站爬虫(CrawlSpider)
Scrapy框架之全站爬虫(CrawlSpider) 在之前 Scrapy 的基本使用当中，spider 如果要重新发送请求的话，就需要自己解析页面，然后发送请求。 而 CrawlSpider 则可以通过设置 url 条件自动发送请求。 LinkExtractors CrawlSpider 是 Sp ......
Day 25 25.2 Scrapy框架之分布式爬虫(scrapy_redis)
分布式爬虫(scrapy_redis) 分布式爬虫是指将一个大型的爬虫任务分解成多个子任务，由多个爬虫进程或者多台机器同时执行的一种爬虫方式。 在分布式爬虫中，每个爬虫进程或者机器都具有独立的爬取能力，可以独立地爬取指定的网页或者网站，然后将爬取到的数据进行汇总和处理。 分布式爬虫相对于单机爬虫的优 ......
记录常用的爬虫代码段（长期更新）
判断文件路径不存在创建文件路径 if not osp.exists(path): os.makedirs(path) 去除字符串非法字符，防止创建文件夹报错 #去掉非法字符 pitow = re.sub('[\/:*?"<>|]','-',name) ......
pathon爬虫实战——爬取某网站的多页番剧内容
（本博客只为技术分学习，无其他用途） 1.准备 涉及的第三方库如下： 2.网页分析 2.1 检验网页 1. 运行浏览器，打开网页，按快捷键F12打开开发者工具，F5刷新页面 2. 在右侧点击Network，打开browser?sort=rank&page=1 文件，可以看到各种信息，查看表头 3. ......
接口请求413 Request Entity Too large问题处理
刚看到这个问题时，发现是请求接口时 传递的参数过大，于是就在度娘上搜索了关于这个问题的处理方法； 参考了好几篇文章，基本都说是配置问题 最终，参考了知乎上的这篇文章：https://zhuanlan.zhihu.com/p/76679642 关于上篇文章中的前端配置参数：bodyParser 在ex ......
SpringBoot利用Filter获取请求数据request和修改返回response中的数据
WrapperedRequest import javax.servlet.ReadListener; import javax.servlet.ServletInputStream; import javax.servlet.http.HttpServletRequest; import java ......
selenium 定位
1、find_element && find_elements 的区别： 1、 find_element 得到的是一个webelement的对象，只会返回查找到的第一个对象； find_elements 得到的是一个列表，返回查找到的所有，并保存到列表中。 2、如找不到， print(driver. ......
一篇博客上手request和response
概念 request：获取请求数据 response：设置响应数据 Request request继承体系 ServletRequest——Java提供的请求对象根接口 HttpServletRequest——Java提供的对http协议封装的请求对象接口 RequestFacade——tomcat ......
selenium中的click()操作不稳定情况
曾听说过click操作不稳定，今天碰到了，分享一波 driver.get("D:\PythonFiles\wlxcUI\practice\检测代码\demo.html")driver.maximize_window()el = driver.find_element_by_name("mfile") ......
selenium部分知识点总结
selenium部分总结 最近写了一个selenium自动化脚本. 基于此总结一些常用的代码 1. 用户输入换行符不终止输入 strings = '' s = input('请输入：(q停止输入)') while s != 'q': # 此处可自行设置 strings = strings + s + ......
Day 24 24.3 Scrapy框架进阶之start_requests重写
Scrapy框架进阶之start_requests重写 start_rquests重写 scrapy中start_url是通过start_requests来进行处理的， 其实现代码如下 def start_requests(self): cls = self.__class__ if method_ ......
记一次python写爬虫爬取学校官网的文章
有一位老师想要把官网上有关数字化的文章全部下载下来，于是找到我，使用python来达到目的 首先先查看了文章的网址 获取了网页的源代码发现一个问题，源代码里面没有url，这里的话就需要用到抓包了，因为很明显这里显示的内容是进行了一个请求，所以只能通过抓包先拿到请求的url从而获得每一篇文章对应的ur ......
selenium三种等待方式 （强制等待、隐式等待、显示等待）
方式一：强制等待 time.sleep(n) # 单位：秒 复制代码 程序表现：强制暂停程序运行，等待n秒后继续执行后续代码 演示代码： time.sleep(3) driver.find_element(By.ID, "kw").send_keys("华测教育") 复制代码 方式二：隐式等待 ......
Python认识爬虫与反爬虫
爬虫：通过计算机去获取信息，以节约人力成本，不节约的就不需要用了。 反爬虫的最终：区别计算机和人，从而达到，排除计算机的访问，允许人的访问。 最终结论：爬虫与反爬虫都是有尽头的。 爬虫的尽头就是极度模拟用户（自动化）。 反爬虫的尽头就是机器无法识别而人类可以识别的验证码。 所以，省事的话，不如只学一 ......
一种通过编码的反爬虫机制
遇到一个反爬虫机制，该网页为gbk编码网页，但是请求参数中，部分请求使用gbk编码，部分请求使用utf8编码，还设置了一些不进行编码的安全字符，在爬取的过程中形成了阻碍。 提示：在认为参数设置正常，又无法正确爬取数据的情况下，通过response.requests.headers和esponse.r ......
selenium爬取异步加载的网站
为了便利化使用selenium驱动浏览器进行操作，遇到一个网页，大部分内容都是通过xhr请求后再通过前端js处理显示，带来的一个问题就是，采用显示等待无法准确的定位到需要的节点。因此，需要考虑采用判断xhr请求是否完成后再进行定位，或者直接获取xhr请求返回内容的做法。 对于selenium爬虫来说 ......
requests代理设置
和 urllib 一样，多的介绍就不说了，直接上代码： import requests proxies = { "http": "http://user:pass@10.10.10.1:80", "https": "http://10.10.1.10:1080", } requests.get("h ......
虚拟机ubuntu22.4报错ok_update_request:I/oerror， dev fdo, sector 0 op OX0:(READ)tlags0x0phys_segprioclass0
ok_update_request:I/oerror， dev fdo, sector 0 op OX0:(READ)tlags0x0phys_segprioclass0 Buffer I/o error ondev fdo，logical block 0，async page read 如下图 不 ......
requests如何不使用系统代理
1. 指定域名不使用代理 import os import requests os.environ['NO_PROXY'] = 'stackoverflow.com' response = requests.get('http://www.stackoverflow.com') 2. 设置代理为No ......
Selenium CHANGELOG[最新版本4.8.3]
Selenium CHANGELOG[持续更新] 源文件 https://github.com/SeleniumHQ/selenium/blob/trunk/py/CHANGES 搬运工 对重点版本做时间标注，具体时间点可以参考https://github.com/SeleniumHQ/seleni ......
Request
Request获取请求数据： 请求行 @Override protected void doGet(HttpServletRequest req, HttpServletResponse resp) throws ServletException, IOException { String meth ......
常用API(爬虫，正则表达式)
常用API（爬虫，正则表达式） 爬虫 本地爬虫：Pattern：表示正则表达式； Matches：文本匹配器，作用按照正则表达式的规则读取字符串，从头开始读取，在大串中去找符合匹配规则的子串； find：1.拿着文本匹配器从头开始读取，寻找是否有满足规则的子串；如果没有，方法返回fals ......
python爬虫scrapy框架的使用
总结 scrapy startproject name scrapy genspider baidu http://www.baidu.com scrapy crawl baidu scrapy项目创建 scrapy startproject scrapy_baidu_091 创建爬虫文件 在spi ......
Python3基本请求库-requests
#requests 基本请求 import requests r=request.get('https://www.baidu.com/') print(type(r)) print(r.status_code) print(r.cookies) #get post put delete patch ......
selenium关于对同一元素，同一定位方式，在两个测试用例中出现定位结果不一致的情况分析
1、遇见的问题：同一个定位方法，同一个元素，在两个测试用例中进行定位，一个测试用例能够准确定位，一个测试用例报错，具体报错信息如下： 考虑如下：页面可能还未完全加载，使用selenium的等待时间的方法，我使用过没有成功，依然报错，再次考虑页面刷新，在失败的测试用例里面定位元素之前，让页面进行刷新（ ......
爬取的数据存mysql中、加代理，cookie，header，加入selenium、布隆过滤器、scrapy-redis实现分布式爬虫
上节回顾 # 1 scrapy架构 -爬虫：写的一个个类 -引擎： -调度器：排队，去重 -下载器 -pipline -下载中间件 -爬虫中间件 # 2 命令 -scrapy startproject 项目名 -scrapy gensipder 爬虫名 网址 -scrapy crawl 爬虫名字 - ......
selenium登录cnblogs、抽屉半自动点赞、xpath的使用、打码平台使用、scrapy介绍
昨日回顾 # 1 beautifulsoup4 使用 -xml解析库，用它来解析爬回来的html内容，从中找出我们需要的内容 # 2 遍历文档树 - . 的使用 soup.html.body.p.a - 获取属性 对象.attrs.get('href') - 获取文本 对象.text string ......
爬虫介绍、request模块、自动登录、携带cookie的两种方式、requests.session的使用、响应Response对象
今日内容 爬虫介绍 request模块介绍 request发送get请求 request携带参数 url编码解码 携带请求头 发送post请求，携带数据 自动登录，携带cookie的两种方式 requests.session的使用 补充post请求携带数据编码格式 响应Response对象 编码问题 ......
bs4介绍，遍历文档树、搜索文档树、css选择器、selenium基本使用、selenium其他用法
昨日回顾 # 1 request 高级用法 -解析json：发http的请求，返回的数据，可能是xml格式，json格式 request.get().json() -ssl认证 -http和https的区别 https=http+ssl/tsl -http版本区别 0.9：底层基于tcp，每次htt ......
requests高级用法、代理池搭建、爬取案例
昨日回顾 # 1 爬虫是什么 一个程序 >模拟发送http请求 >从网站，app，小程序 >获取数据 >清洗数据 >入库 # 2 爬虫的核心原理 发送http请求，解析数据 requests模块 re正则 # 3 requests模块 >大神 》基于python内置模块urllib3 》封装 -py ......