爬虫pytesseract requests selenium
Python爬虫01
Python爬虫 01 爬虫是一种自动化的数据收集系统中的一种，写网络爬虫的目的在于高效、快速的收集网络上自己所需要的数据或者基于爬虫技术编写网站自动测试脚本。 学习爬虫需要的前置技术：html、JavaScript、http协议、一门编程语言。 为什么需要htnml、JavaScript、http ......
使用Python+selenium实现第一个自动化测试脚本
这篇文章主要介绍了使用Python+selenium实现第一个自动化测试脚本，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧 最近在学web自动化，记录一下学习过程。 此处我选用python3.6+selenium3.0，均用最新 ......
selenium窗口切换
一、handle窗口切换 当点击某个元素后，会重新生成一个新的页签，但此时我们的操作仍然在原先的窗口当中，如果要在新的窗口继续操作元素，那么就要用到handle窗口切换的方法。 常用方法： window_handles：获取当前打开的所有窗口句柄，返回类型为一个列表。 current_window_ ......
09--requests-02
三 requests请求库--02 1 处理cookie相关的请求 学习目标：掌握requests处理cookie的三种方法 1.1 爬虫中使用cookie 为了能够通过爬虫获取到登录后的页面，或者是解决通过cookie的反扒，需要使用request来处理cookie相关的请求 1.1.1 使用co ......
Python+Requests+PyTest+Excel+Allure 接口自动化测试实战
本文主要介绍了Python+Requess+PyTest+Excel+Allure 接口自动化测试实战，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧 Unittest是Python标准库中自带的单元测试框架，Unittest有时 ......
requests库和requests模块使用详解
一、requests简介 #简介：使用requests可以模拟浏览器的请求，比起之前用的urllib，requests模块的api更加便捷（本质就是封装了urllib3） #注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后发起新的reques ......
Required request body is missing报错及解决
今天，我在尝试展示文章列表时遇到了错误，错误原因是请求体缺失， 但是我明明传了参数 然后我找了很久错误原因，发现在之前跟着写的一个差不多的功能时，请求方式是post 而我写的确是get 将get改为post后，并将前端请求方式也改为了post 然后重启后端项目，打开页面 成功调用后端接口并显示数据， ......
爬虫中scrapy管道的使用
来源：http://www.shanhubei.com/archives/8595.html 一、pipeline中常用的方法 1. process_item（self，item，spider） 管道类中必须有的函数 实现对item数据的处理 必须return item 2. open_spider ......
selenium 获取数据
const {Builder, Browser, By, Key, until} = require('selenium-webdriver'); let aa = function(){ (async function example() { let driver = await new Buil ......
爬虫
用with读取文件 # './素材/三国演义.html'是文件路径，'r'表示读取模式，encoding='UTF-8'指定编码为UTF-8 with open('./素材/三国演义.html', mode='r', encoding='UTF-8') as file: # 读取文件内容并将其保存在 ......
requests获取响应头的set-Cookie
requests获取响应头的set-Cookie import requests url="http://www.exampl.com" res=requests.get(url) cookie=res.headers.get("set-cookie") print(cookies) 其中get(" ......
Python爬虫-排行榜数据爬取
前言开始接触 CTF 网络安全比赛发现不会写 Python 脚本的话简直寸步难行……故丢弃 Java 学习下 Python 语言，但单纯学习语法又觉得枯燥……所以从 Python 爬虫应用实战入手进行学习 Python。本文将简述爬虫定义、爬虫基础、反爬技术 和 CSDN博客排行榜数据爬取实战。 网 ......
python爬虫算法深度优先遍历_爬虫基础 之深度优先，广度优先策略
1.深度优先递归方式; import re import requests headers = { 'User-Agent':"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrom ......
爬虫01
微服务学的蛮多的 笔记没传 就这样吧 爬虫 基础01 1.爬虫分类 通用爬虫： 聚焦爬虫 功能爬虫 增量式爬虫 分布式爬虫 2.requests基础操作 1.环境安装 案例1 搜狗首页数据和持续存储 import requests url = 'https://www.sogou.com/' r = ......
2024年了，为何 Selenium 依然这么火？
今天给大家带来的主题是自动化测试框架Selenium，话不多说，直接开始！ 1.什么是 Selenium 自动化测试 Jason Huggins 于 2004 年创建了一个 JavaScript 框架，旨在将其从重复的手动测试中解放出来。 最初命名为 JavaScriptTestRunner 的产品 ......
指定url和深度的广度优先算法爬虫的python实现
广度优先算法介绍 整个的广度优先爬虫过程就是从一系列的种子节点开始，把这些网页中的"子节点"(也就是超链接)提取出来，放入队列中依次进行抓取。被处理过的链接需要放 入一张表(通常称为Visited表)中。每次新处理一个链接之前，需要查看这个链接是否已经存在于Visited表中。如果存在，证明链接已经 ......
scrapy爬取图片时遇到错误：ValueError: Missing scheme in request url: //scpic3.chinaz.net/Files/pic/pic9/202103
错误原因是在请求资源的时候没有使用完整的url只向//scpic3.chinaz.net/Files/pic/pic9/202103发送了资源请求，而完整的资源地址需要前面加上https:所以在pipelines.py文件的get_media_requests方法中，在发送request请求时修改为 ......
npm install安装依赖包时报错npm ERR! command C:\Windows\system32\cmd.exe /d /s /c node install.js，npm ERR! ChromeDriver installation failed Error with http(s) request: Error: read ECONNRESET
PS E:\20231213\uirecorder> PS E:\20231213\uirecorder> PS E:\20231213\uirecorder> PS E:\20231213\uirecorder> PS E:\20231213\uirecorder> npm install npm ......
Selenium | 控制已打开的浏览器-python-chrome
实现这个有两个步骤：1. 打开浏览器 2. 在python中编写代码控制此打开的浏览器 第一步：打开浏览器也有两种方式 方式一：用命令打开 操作步骤： 1）右键点击chrome的快捷图标， 复制出起始位置 2）进入到环境变量-系统变量-找到path， 双击编辑，把起始位置复制进去 3）打开cmd命令 ......
request content was evicted from inspector cache
request content was evicted from inspector cache 一、问题现象 在调用接口时，“响应”中提示：request content was evicted from inspector cache。 二、问题原因 当响应数据超出浏览器响应报文的最大量时，浏览 ......
413 Request Entity Too Large
413 Request Entity Too Large 一、背景介绍 在上传图片文件（图片大小 6MB 左右）的时候，接口预览页面报错“413 Request Entity Too Large”，文件上传失败。 二、解决方案 使用的是 Nginx 做的代理，从报错提示可以看出，请求实体过大，Ngi ......
前端与爬虫
搜索爬虫, 我们会搜到一大堆 Python 相关的结果 问题: 爬虫和前端有关系吗? 爬虫是什么 爬虫程序是一种计算机程序，旨在通过执行自动化或重复性任务来模仿或替代人类的操作。 爬虫程序执行任务的速度和准确性比真实用户高得多。爬虫程序类型众多，可执行各种任务，并且爬虫程序在互联网流量中的比重也越来 ......
03-selenium的使用
搜索文档数 find_all：找所有，返回列表 find：找一个 Tag对象 from bs4 import BeautifulSoup import re html_doc = """ <html><head><title>The Dormouse's story</title></head> < ......
04-selenium等待元素加载、元素使用、xpath的使用
selenium等待元素加载 # 代码操作非常快 》有的标签还没加载 》找就找不到 》就会报错 # 设置等待：显示等待，隐士等待 bro.implicitly_wait(10) # 找某个标签，如果找不到，最多等待10s selenium元素操作 # 点击操作 click() # 写文字 send_ ......
01-认识爬虫
requests模块快速使用 #介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib(内置模块)，requests模块的api更加便捷（本质就是封装了urllib3） # 注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后 ......
02-爬虫的高阶使用
代理池的搭建 # 搭建步骤 -1、git clone git@github.com:jhao104/proxy_pool.git -2、在pycharm中打开项目 -3、创建虚拟环境，并且安装依赖 pip install -r requirements.txt -4、修改配置文件：DB_CONN = ......
Selenium（2）
一、安装Selenium pip install selenium 二、八大元素定位 要想操作 Web 界面上的元素，首先要定位到该元素，Selenium 提供了定位元素的 API,这些方法都被定义在 WebDriver 类中，这些方法都以 find 开头。一共有如下八种： from time ......
Selenium（3）
一、特殊元素 1.有些元素它是不可见的( div ) style='display:none' 2.有些元素是隐藏的 hidden 3.有些元素是不可用的 disabled=disabled 灰色 4.有些元素是不可编辑的 readonly=readonly ... 二、特殊场景 1.frame/i ......
Selenium（1）
一、Selenium简介Selenium是一个用于Web 应用程序的自动化测试工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。 主要功能包括：测试与浏览器的兼容性（测试你的应用程序是否能够很好的工作在不同浏览器和操作系统之上）。测试系统功能（创建回归测试检验软件功能和用户需求 ......
python爬虫环境配置
环境配置 python3/请求库/解析库/数据库/存储库/web库/app爬取库/爬虫框架库 python3 win11下可以直接商店下载了（ Linux下apt-get install python3 请求库 requests pip3 install requests selenium pip ......