爬虫pytesseract requests selenium
如何隐藏Selenium特征
from selenium import webdriver from selenium.webdriver.common.proxy import Proxy, ProxyType # 亿牛云爬虫加强版代理IP 地址、端口号、用户名和密码 proxy_address = 'www.16yun.cn ......
selenium中使用三种时间等待方式：强制等待、隐式等待、显示等待
正文： 强制等待 隐式等待 显示等待 强制等待 from time import sleep from selenium import webdriver driver = webdriver.Chrome("../resources/chromedriver.exe") 20) # 访问网址 dr ......
selenium中截屏方法
有时候打印的错误信息不够直观 如果在脚本执行出错时能够对当前窗口进行截图并保存，那么就可以非常直观地看到脚本出错的原因。 WebDriver 提供了截图函数 save_screenshot ()，可用来截取当前窗口 from selenium import webdriver driver = we ......
关于selenium加载用户文件保持登录状态
如下脚本是一个微博用selenium'自动化登录的简单例子 import time from selenium import webdriver from loguru import logger from selenium.webdriver.chrome.options import Optio ......
python + requests：请求头（'Content-Type': 'multipart/form-data'），并且files和其他参数均正确定义，但是文件上传一直失败，需要使用MultipartEncoder
### 解释 1. 在使用'Content-Type': 'multipart/form-data'上传文件时，你需要将文件作为请求体的一部分进行传输。而由于文件可能非常大，因此需要将文件分成多个部分进行传输。这就需要使用多部分编码（Multipart Encoding）来将文件分割成多个部分，并将 ......
Java 网络爬虫，就是这么的简单
是 Java 网络爬虫系列文章的第一篇，如果你还不知道 Java 网络爬虫系列文章，请参看 学 Java 网络爬虫，需要哪些基础知识。第一篇是关于 Java 网络爬虫入门内容，在该篇中我们以采集虎扑列表新闻的新闻标题和详情页为例，需要提取的内容如下图所示： 我们需要提取图中圈出来的文字及其对应的链接 ......
selenium之滑块验证
登录时，会有遇到滑块验证码，一般有2种：1.拖到最右边；2.拖到指定位置。 本文只介绍下第一种情况。 第二种情况，可以参考：https://zhuanlan.zhihu.com/p/624497402 例如第一次登录lazada网站需要滑块验证：https://sellercenter.lazada ......
go爬虫 简单请求
demo1.go package main import ( "fmt" "io/ioutil" "net/http" ) func fech(url string) string { client := &http.Client{} req, _ := http.NewRequest("GET", ......
爬虫学习基础2
### ```selenium``` - 安装: ``` pip install selenium ``` - 安装浏览器驱动(各个浏览器的驱动是不一样的,推荐**chrome**) ``` - https://registry.npmmirror.com/binary.html?path=chro ......
全栈测试开发系列----WebDriver API及对象识别技术（二）---selenium验证码处理的多种实现方式
前言 对于测试人员而言，不管是进行性能测试还是自动化测试，验证码的处理都是棘手的存在，在WEB应用中，大部分系统在用户登录的时候都要求用户输入验证码，且验证码的种类繁多，如纯数字、纯字母、汉子组合、数学题运算、滑动图标、图片、短信、邮箱、语音等。 既然要实现验证码的处理操作，那么就需要了解验证码的作 ......
java爬虫--jsoup的使用
简介： jsoup 是一款基于 Java 的HTML解析器，它提供了一套非常省力的API，不但能直接解析某个URL地址、HTML文本内容，而且还能通过类似于DOM、CSS或者jQuery的方法来操作数据，所以 jsoup 也可以被当做爬虫工具使用。 Document ：文档对象。每份HTML页面都是 ......
【python爬虫案例】用python爬豆瓣音乐TOP250排行榜！
[toc] # 一、爬虫对象-豆瓣音乐TOP250 今天我们分享一期python爬虫案例讲解。爬取对象是，豆瓣音乐TOP250排行榜数据：https://music.douban.com/top250  今天，我再分 ......
request模块
一、request模块介绍和安装 1.安装request模块： win+R 后出入cmd 打开命令行窗口：输入 pip install requests。 2.在pycharm中，设置--项目--Python解释器中选择新增request模块。 二、request模块请求 1.get请求，heade ......
Python错误：requests请求https网站报错SSLError
问题描述： 用requests包请求https的网站时，经常会遇到证书问题，也就是常见的SSLerror： requests.exceptions.SSLError: HTTPSConnectionPool(host='www.xxx.com', port=443): Max retries exc ......
Python错误：requests请求设置verify=False时日志中有warning信息
问题描述： 在requests做请求的时候，为了避免ssl认证，可以将verify=False，但是这么设置会带来一个问题，日志中会有大量的warning信息, 如下面： D:\Program Files\Python\lib\site-packages\urllib3\connectionpool ......
tool_Selenium IDE（录制浏览器操作的工具）
一、安装工具 打开chrome浏览器 -> 扩展程序->访问Chrome应用商店 搜索 selenium ide后，点击Selenium IDE，添加至Chrome 点击浏览器右上角插件按钮，将Selenium IDE固定，点击Se图标就可打开工具 ......
【python爬虫案例】用python爬豆瓣读书TOP250排行榜！
[toc] # 一、爬虫对象-豆瓣读书TOP250 今天我们分享一期python爬虫案例讲解。爬取对象是，豆瓣读书TOP250排行榜数据： https://book.douban.com/top250 ![豆瓣网页](https://img2023.cnblogs.com/blog/2864563 ......
Selenium自动化程序被检测为爬虫，怎么屏蔽和绕过
先打开浏览器，再链接操作 1、打开浏览器时添加以下参数： --remote-debugging-port=9222 --user-data-dir="C:\\selenium\\ChromeProfile" 2、selenium中设置浏览器选项，通过上面设置的 9222端口连接浏览器： from s ......
Java中获取request对象的几种方法
1.通过注解获取（很简单，推荐）： public class Hello { @Autowired HttpServletRequest request; //这里可以获取到request } 2.在web.xml中配置一个监听： <listener> <listener-class> org.sp ......
哪个爬虫库用的最多？
在Python中，最常用的爬虫库是requests和BeautifulSoup。requests库用于发送HTTP请求和处理响应，而BeautifulSoup库用于解析HTML文档。这两个库通常结合使用，用于爬取网页内容并提取所需的数据。其他常用的爬虫库还包括Scrapy、Selenium等。 常用 ......
盘点一个Python网络爬虫的问题
大家好，我是皮皮。 ### 一、前言 前几天在Python白银群【大侠】问了一个`Python`网络爬虫的问题，这里拿出来给大家分享下。  retries = Retry(total=3, backoff_factor=1) ses ......
[-001-]-Python3+Unittest+Selenium Web UI自动化测试之环境准备
1、Python环境，网上很多教程，查询配置即可 2、选用的浏览器及driver驱动 以google为例子： 首先查看你的google浏览器的版本，比如我的：114.0.5735.199 找driver驱动：https://registry.npmmirror.com/binary.html?pat ......
如何看待低级爬虫与高级爬虫？
爬虫之所以分为高级和低级，主要是基于其功能、复杂性和灵活性的差异。根据我总结大概有下面几点原因： 功能和复杂性：高级爬虫通常提供更多功能和扩展性，包括处理复杂页面结构、模拟用户操作、解析和清洗数据等。它们解决了开发者在处理复杂任务时遇到的挑战。低级爬虫则更简单，包含基础的爬取功能，适用于简单任务和入 ......
会网络爬虫能干什么？
网络爬虫是一种自动化程序，用于浏览互联网并从网页中获取数据。它可以执行以下任务： 数据采集：网络爬虫可以访问网站，并从中提取所需的数据，例如新闻文章、产品信息、用户评论等。这些数据可以用于各种目的，如市场调研、数据分析、内容聚合等。 搜索引擎索引：搜索引擎使用爬虫来抓取网页，并将其加入搜索引擎的索引 ......
[scrapy]一个简单的scrapy爬虫demo
# 一个简单的scrapy爬虫demo ## 爬取豆瓣top250的电影名称＋电影口号 使用到持久化流程： * 爬虫文件爬取到数据后，需要将数据封装到items对象中。 * 使用yield关键字将items对象提交给pipelines管道进行持久化操作。 * settings.py配置文件中开启管道 ......
selenium鼠标操作和键盘操作
鼠标操作 在 WebDriver 中，与鼠标操作相关的方法都封装在 ActionChains 类中 # 引入 ActionChains 类 from selenium.webdriver import ActionChains 常用方法： perform()：执行 ActionChains 类中存储 ......