爬虫pytesseract requests selenium
Selenium查找元素、元素的属性和方法
# 查找元素 官方文档：[https://www.selenium.dev/documentation/webdriver/elements/locators/](https://www.selenium.dev/documentation/webdriver/elements/locators/) ......
Selenium基本使用、过检测
```Python import time from selenium import webdriver from selenium.webdriver.chrome.service import Service as ChromeService # 驱动文件所在路径 DIRVER_PATH = r ......
【笔记整理】requests使用代理
使用proxies参数传递代理信息 ```Python import requests if __name__ == '__main__': proxies = { # 这个字典的key不可以乱写，必须是http和https # 如果你的只有http那就只写http代理，htpps也是相同的道理。 ......
requests.exceptions.ProxyError问题解决方法
出现这个问题是因为你系统上在使用代理，然后你的代理又是规则匹配的。 [https://stackoverflow.com/questions/36906985/switch-off-proxy-in-requests-library](https://stackoverflow.com/questi ......
【笔记整理】request模块基本使用
# 基本使用 # 发送get请求、获取响应各种请求、响应信息 ```python def fun1(): url = "http://www.baidu.com" resp = requests.get(url) print(resp) # 打印时会发现乱码 # 因为resp默认是自动推算编码的，经 ......
Python | requests库
## 一、 基本概念 ### 1、 简介 requests 模块是 python 基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习 ......
Python报错 | 关于requests.exceptions.SSLError解决方案
学习爬虫遇到的错误。 **报错信息：** ```python requests.exceptions.SSLError: HTTPSConnectionPool(host=’*****’, port=443): Max retries exceeded with url: / (Caused by ......
爬虫 | <Response [418]>原因
在我们调用`requests.get(网址)`访问网页时，输出为``。是什么原因呢？ 如下运行代码： ```python # 导入访问网页要用的库 import requests # 申明一个变量存储网址 # 网址是一个字符串变量，注意网址前后都必须有引号 url = 'https://movie. ......
python爬虫抓取小说
我这里是使用的**requests**模块和**re**(正则)模块 可以模仿浏览器正常访问网页返回网页源码的方式，通过正则获取到小说的名字，以及每个章节名称和对应的网页链接，并将小说正文截取出来，写入到文本中，具体代码实现如下： ``` # 导入requests模块 import requests ......
Python的requests库调用gpt3.5
1. 注册ChatGPT API，放到key里 2. 安装requests库 3. 发送API请求 4. 其他API调用方式 除了使用Python库进行API调用之外，你还可以使用其他编程语言或命令行工具进行API调用。具体的调用方式可以参考ChatGPT官方文档中的API参考。 import re ......
SAP ABAP 函数 TR_REQUEST_CHOICE
`TR_REQUEST_CHOICE` 是 SAP ABAP 中的一个函数模块，它用于在系统中处理传输请求。传输请求是 SAP 系统中的一个重要概念，它用于管理和控制系统中对象的传输。这些对象可以是程序、表、视图等。 `TR_REQUEST_CHOICE` 函数模块提供了一种界面，允许用户在系统中选 ......
java拦截器获取POST请求体后Controller异常Required request body is missing OR Stream closed
解决办法参考文档：https://blog.csdn.net/qierkang/article/details/88544691 springboot拦截器获取POST请求体后导致Controller中@RequestBody参数异常Required request body is missing ......
「爬虫04」selenium
## 1 selenium等待元素加载 ```python # 程序执行速度很快 》获取标签 》标签还没加载好 》直接去拿会报错 # 显示等待：当你要找一个标签的时候，给它加单独加等待时间 # 隐士等待：只要写一行，代码中查找标签，如果标签没加载好，会自动等待 browser.implicitly_ ......
Python爬虫突破验证码技巧 - 2Captcha
在互联网世界中，验证码作为一种防止机器人访问的工具，是爬虫最常遇到的阻碍。验证码的类型众多，从简单的数字、字母验证码，到复杂的图像识别验证码，再到更为高级的交互式验证码，每一种都有其独特的识别方法和应对策略。在这篇文章中，我们将一一介绍各种验证码的工作原理和使用[2Captcha](https://... ......
使用requests及lxml爬取教程示例
很多教程网站都是静态html，爬取起来相对容易，使用requests请求页面后把响应内容保存为html文件即可。 一般爬取步骤如下： 1. 从首页解析出课程列表，包含课程标题和URL链接 2. 请求课程页面，解析出文章列表，包含文章标题和文章URL链接 3. 请求文章页面，将响应内容保存为html文 ......
【爬虫案例】用Python爬取知乎热榜数据！
[toc] # 一、爬取目标 您好，我是[@马哥python说](https://www.zhihu.com/people/13273183132)，一名10年程序猿。 本次爬取的目标是：[知乎热榜](https://www.zhihu.com/hot) : 2 first_num = random.randint(99, 103) 3 third_num = random.randint(0, 5060) 4 fourth_num = random.randint(0, 140) 5 os_type = ['(W ......
「爬虫03」bs4&selenium
## 1 爬取新闻 ```python # 1 爬取网页 requests # 2 解析 xml格式，用了re匹配的[xml包含html,html是xml的一种] html，bs4，lxml。。。 json： -python ：内置的 -java ： fastjson 》漏洞 -java： 谷歌 G ......
selenium 根据期刊信息获取知网文献信息 pt.1
哈喽大家好，我是咸鱼 之前写过一篇获取知网文献信息的文章（[关于《爬取知网文献信息》中代码的一些优化](http://mp.weixin.qq.com/s?__biz=MzkzNzI1MzE2Mw==&mid=2247485617&idx=1&sn=8c38163fc757784d3048e5043 ......
深入了解爬虫原理
HTTP/1.1方法 HTTP1.0中，只有GET和POST，没有其他方法，如果是新网站是可以获取内容 head命令只能返回头部部分，类似于Ping测试网址是否连通 put只能上传最新的内容,patch局部修改 主要是get和Post HTTPS多实现一层S，五层中，最上面是应用层，然后是多出来的安 ......
推荐Selenium 自动化测试实战
你将获得深入 Selenium 源码、原理、封装、技巧；unittest、pytest、DDT、POM 迭代测试方法；大型项目分布式测试解决方案；Jenkins 持续集成和交付。 演示地址：www.runruncode.com/portal/article/index/id/19451/cid/85 ......
【经典爬虫案例】用Python爬取微博热搜榜！
[toc] # 一、爬取目标 您好，我是[@马哥python说](https://www.zhihu.com/people/13273183132)，一名10年程序猿。 本次爬取的目标是: [微博热搜榜](https://s.weibo.com/top/summary?cate=realtimeho ......
分布式爬虫
要实现分布式爬虫，您需要将爬取任务分配给多个爬虫节点，并协调它们的工作。在Python中，您可以使用分布式任务队列和消息传递机制来实现这一目标。 以下是一个简单的示例，展示了如何使用Python中的Celery库来实现分布式爬虫： 1. 安装Celery库：请运行以下命令来安装Celery库。 `` ......
爬虫—图形验证码获取
# 获取验证码图片步骤 **1. 使用selenium操作谷歌浏览器，打开目标网站** **2. 对目标网站进行截图，并将图片保存到本地** **3. 获取验证码元素节点在屏幕上的位置，即横纵坐标** **4. 使用Image库读取保存的截图** **5. 使用pillow模块抠出大图中的验证码 只 ......
【爬虫案例】用Python爬取百度热搜榜数据！
# 一、爬取目标 您好，我是[@马哥python说](https://www.zhihu.com/people/13273183132)，一名10年程序猿。 本次爬取的目标是：[百度热搜榜](https://top.baidu.com/board?tab=realtime) ![百度热搜榜页面](h ......
使用selenium、xpath、半自动点赞、自动登录
## selenium等待元素加载 ```python # 程序执行速度很快 》获取标签 》标签还没加载好 》直接去拿会报错 # 显示等待：当你要找一个标签的时候，给它单独加等待时间 # 隐士等待：只要写一行，代码中查找标签，如果标签没加载好，会自动等待 bro.implicitly_wait(10 ......
selenium、xpath、打码平台
[toc] ## 1 selenium等待元素加载 ```python # 程序执行速度很快 》获取标签 》标签还没加载好 》直接去拿会报错 # 显示等待：当你要找一个标签的时候，给它加单独加等待时间 # 隐士等待：只要写一行，代码中查找标签，如果标签没加载好，会自动等待 browser.impli ......