爬虫pytesseract requests selenium
selenium之鼠标操作详解
人类频繁的用手操作鼠标和键盘，为了解决这个问题，selenium工具为我们提供了一个类来处理这些事件— Actionchains ，该类可以完成鼠标移动，鼠标点击事件、键盘输入、内容菜单交互等交互行为。 ......
Python爬虫：抖音 JS XB逆向解析
哈喽兄弟们，抖音现在有JS加密，以前的方法爬不了饿了，今天来实现一下某音短视频的JS逆向解析。 知识点 动态数据抓包`在这里插入代码片`requests发送请求X-Bogus 参数逆向 环境模块 python 3.8 运行代码pycharm 2022.3 辅助敲代码requests pip inst ......
Python处理Request请求
一、HTTP知识： request请求方式有GET/POST/PUT/PATCH/DELETE/COPY/HEAD/OPTIONS/LINK/VIEW等 常用的request请求有：get和post 两种形式。 1.GET用于获取资源，当采用 GET 方式请求指定资源时， 被访问的资源经服务器解析后 ......
MQTT控制报文格式 -- CONNACK （Acknowledge connection request）连接请求应答
该报文由服务端收到CONNECT数据包后发出，客户端可以根据在合理的时间内是否收到该报文而决定是否断开网络连接。 该数据包不包含Payload部分，仅有FixedHeader 和 Variable Header，现对其详述如下： 1. 固定包头 FixedHeader 固定包头共2个字节 byte1 ......
爬虫实践06 | 爬取某网站的参展客户和展位信息
网址：https://www.cantonfair.org.cn/zh-CN/detailed?category=461147105440849920&scategory=461148159452647424&type=1&keyword=&page=1&size=40&tab=exhibitor& ......
python+playwright 学习-61 Playwright 和 Selenium 的区别是什么？
前言 最近有不少同学问到 Playwright 和 Selenium 的区别是什么？有同学可能之前学过 selenium 了，再学一个 playwright 感觉有些多余，可能之前有项目已经是 selenium 写的了，换成 playwright 需要时间成本，并且可能有未知风险。也有同学之前可能没 ......
selenium——clear()使用了不生效，解决输入框没法清空的情况
前提： 今天研究web自动化，准备模拟一个修改名称的操作，想的是定位都输入框元素，然后使用clear()方法清空输入框内容，再重新输入一些内容 结果实际上发现并没有清空输入框内容，而是直接在输入框后面追加了（这里就可以确定元素肯定是定位到了的） clear()方法为什么会失效不得而知，在网上搜索了一 ......
Selenium打开网页时保持登陆状态
前言 今天在学习selenium的时候，每次调试网页都会打开一个新的浏览器窗口，当我想要做某些操作的时候就需要自己再去模拟登陆，太浪费时间了。那么要怎么样才能在打开网页的时候直接就是登陆状态呢? 使用下面的方法就可以直接加载登陆过后的保存在本地的信息，而且不再需要手动登陆 上代码 from sele ......
selenium - Chrome 的 useAutomationExtension 功能是什么？
我在运行 Selenium 测试时遇到了一个问题。 SO 答案之一建议使用 useAutomationExtension 禁用 Chrome 自动化扩展—— options.setExperimentalOption("useAutomationExtension", false); 我想了解究竟是 ......
selenium所有检测点和绕过方式[运行命令后被检测/打开就被检测/环境检测]
网上说的基本不全,最近有个新加密(F5shape)是控制流加密,解起来比较繁琐,就直接用selenium了,我看到有环境监测,但是没想到有检测selenium…一开始用nodejs写的,但是用nodejs写面向过程的代码真的很难受,又改为python了 JSVMP js加密 打开这个网站就能看到部分 ......
AI 帮写爬虫，真的吗？ CodeWhisperer：当然！
2023 年技术圈什么最火？答案毫无疑问是 AIGC，伴随该项技术的发展，新的编程方式也出现了，那就是用 AI 辅助编程，有了 AI 的加持，开发人员的效率和生产力可以得到大幅度的提升。今天我们就介绍一款非常棒的人工智能编程工具 Amazon CodeWhisperer ， 相信我，用上他之后，你的 ......
Python自动化测试工具Selenium使用踩坑
1.背景 最近看同事在搞自动化测试，便想着自己在本地搭建一个自动化点击页面环境。主要是Selenium操作谷歌游览器进行访问百度，然后搜索关键词，获取搜索的内容。 2.环境准备 （1）查看本地谷歌游览器版本号，点击游览器右上角->设置-关于chrome即可获取，目前我的游览器是最新版本的。 （2）下 ......
Python selenium chrome版本查询和对应驱动下载
elenium爬虫需要安装Chrome驱动 chrome版本查询和对应驱动下载，超详细 方法/步骤 1 查看谷歌的版本，第一步在地址栏输入图中网址 第二步查看版本号 2 复制版本号，只需复制版本号最后一位小数点之前的数字。（例：版本号：111.0.5563.65 ，复制111.0.5563即可） 将 ......
爬虫案例
import requests from bs4 import BeautifulSoup from pygtrans import Translate def multi_requests(url, headers=None, verify=False, proxies=None, timeout ......
Python3爬虫通过m3u8文件下载ts视频 Python爬虫
什么是m3u8文件? M3U8文件是指UTF-8编码格式的M3U文件。 M3U文件是记录了一个索引纯文本文件，打开它时播放软件并不是播放它，而是根据它的索引找到对应的音视频文件的网络地址进行在线播放。 原视频数据分割为很多个TS流，每个TS流的地址记录在m3u8文件列表中 比如我这里有一个m3u8文 ......
selenium 点击 弹窗中的确认和取消按钮
html 效果 当点击弹窗上的确认按钮后 <!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title>弹窗示例</title> <style> body{ text-align: center; padding-top: 50px; } < ......
解决 jmeter 压测Non HTTP response code: java.net.NoRouteToHostException/Non HTTP response message: Cannot assign requested address (Address not available)
针对centos : 先检查下tcp port range 在合理范围内： cat /proc/sys/net/ipv4/ip_local_port_range 1024 65535 上述为centos合理范围，不合理作出修改 解决方法：1. 调低端口释放后的等待时间， 默认为60s， 修改为15~ ......
Python：基础&爬虫
Python：基础&爬虫 Python爬虫学习（网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。） 一、基础知识准备 Python在各个编程语言中 ......
Python爬虫必杀技：XPath
XPath 是什么 XPath 即为 XML 路径语言，它是一种用来确定 XML(标准通用标记语言的子集) 文档中某部分位置的语言。XPath 基于 XML 的树状结构，有不同类型的节点，包括元素节点，属性节点和文本节点，提供在数据结构树中找寻节点的能力。跟 BeautifulSoup4一样都是用来 ......
selenium
selenium 一、前期准备 1、概述 selenium本身是一个自动化测试工具。它可以让python代码调用浏览器。并获取到浏览器中加载的各种资源。 我们可以利用selenium提供的各项功能。 帮助我们完成数据的抓取。 2、学习目标 掌握 selenium发送请求，加载网页的方法 掌握 sel ......
requests进阶
requests进阶 三、requests模块处理cookie相关的请求 1 爬虫中使用cookie 为了能够通过爬虫获取到登录后的页面，或者是解决通过cookie的反扒，需要使用request来处理cookie相关的请求 1.1 爬虫中使用cookie的利弊 带上cookie的好处 能够访问登录后 ......
前端讲义10_HTTP Request header
前端讲义10_HTTP Request header 把Request header 进行分类，比较清晰记忆。 监控打开 URL https://blog.csdn.net/msh2016 Cache 头域 If-Modified-Since 作用： 把浏览器端缓存页面的最后修改时间发送到服务器去， ......
Selenium借助AutoIt完成文件的上传与下载
文件上传1，编辑首先提前下载好AutoIT，先了解https://blog.csdn.net/weixin_39218743/article/details/87808776 手上没有带上传文件的网址，先用百度的上传照片吧！ 打开AutoIT工具组件中的脚本编辑器sciTE Script Edito ......
总结selenium 中 js 更改隐藏属性
第一种 多个元素被隐藏时 通过js修改 对比照片 这个是没隐藏的 对比照片 这个是隐藏的 driver = webdriver.Chrome() # url url=r"http://127.0.0.1:5000/" driver.get(url) print("已打开网页") # 执行js脚本，将 ......
python接口自动化之request请求，如何使用 Python调用 API？
Python实战 | 如何使用 Python 调用 API 一、HTTP 请求HTTP 请求是在 HTTP 协议下的一种数据格式，用于向服务器发送请求，其通常由请求行、请求头和请求体三部分构成，请求头和请求体之间用空行隔开，其中各部分包含的信息如下：请求行 (Request Line)：包括请求方法 ......
【Https异常】This request has been blocked; the content must be served over HTTPS解决方法
参考：https://www.cnblogs.com/756623607-zhang/p/11790283.html 一、问题出现场景 项目从http升级到https后，jsp页面存在发送http请求的情况下就会出现该异常。因为HTTPS 是 HTTP over Secure Socket Laye ......
Learn Git in 30 days—— 第 28 天：了解 GitHub 的 fork 与 pull request 版控流程
写的非常好的一个Git系列文章，强烈推荐 原文链接：https://github.com/doggy8088/Learn-Git-in-30-days/tree/master/zh-cn 我们知道 Git 仓库并没有什么「权限控制」的概念，因为他是分散式的版本控制系统，当你执行 git clone ......
花瓣链接爬虫另一版
from selenium import webdriverfrom selenium.webdriver.common.by import Byimport timeimport osBASE_URL = "https://huaban.com/search?q={keyword}&sort=al ......
【node爬虫】node爬虫实用教程
准备工作 通过指令npm init初始化文件夹，会获得package.json项目说明书。 爬虫必备工具：cheerio；通过在终端输入npm i cheerio，即可将文件装到项目里。cheerio 是 jquery 核心功能的一个快速灵活而又简洁的实现，主要是为了用在服务器端需要对 DOM 进行 ......