爬虫pytesseract requests selenium
打码平台，自动登录打码平台，selenium爬取京东商品信息，scrapy介绍安装
1 打码平台🌴 # 1 登录某些网站，会有验证码 》想自动破解 -数字字母：python模块：ddddocr -计算题，成语题，滑块。。。：第三方打码平台，人工操作 # 2 打码平台 -云打码，超级鹰 # 3 咱们破解网站登录的思路 -使用selenium 》打开网站 》（不能解析出验证码地址） ......
[-006-]-Python3+Unittest+Selenium Web UI自动化测试之悬浮窗口中的元素点击
1.分析现状： PPT模板悬浮出现悬浮窗口 悬浮窗口中分为4大类：PPT模板，PPT模板页，PPT关系图，PPT图表 大类下存在小类点击可跳转 但是此页面里还存在PPT模板下的总结汇报等此种情况的元素 此情况如果仅用 text定位是无法定位到的 所以排除了text定位方式 2.解决方法： 首先我们看 ......
【爬虫】爬取网站图片的url学习记录，xpath用法
这次是想爬取一个壁纸网站里面图片的url，这里使用了lxml库，先上脚本 import requests from lxml import etree url="https://pic.netbian.com/4kdongman/" domain="https://pic.netbian.com/" ......
RequestContextHolder详解（获取request对象的四种方法）
方法1、Controller中加参数来获取request 注意：只能在Controller中加入request参数。 一般，我们在Controller中加参数获取HttpServletRequest，如下所示： @RestController@RequestMapping("/gap")public ......
爬虫四
selenium等待元素加载 代码操作非常快，有的还没加载，找不到就会报错 设置等待：显示等待，隐式等待 bro.implicitly_wait(10) 找某个标签，如果找不到，最多等待10s selenium元素操作 点击操作 click（） 写文字 send_keys（‘内容’） 清空文字 cl ......
搜索文档树、bs4其他用法、css选择器、selenium基本使用、selenium其他用法
搜索文档树 # 1 find_all ：找所有 列表 # 2 find 找一个 Tag类的对象 find和find_all from bs4 import BeautifulSoup html_doc = """ <html><head><title>The Dormouse's story</ti ......
selenium输入框中输入内容再自动点击回车
from selenium import webdriver browser = webdriver.Chrome() browser.get('https://www.google.com') # 定位输入框 input_box = browser.find_element("id", 'APjF ......
Uncaught SyntaxError: The requested module '/vue3-print/node_modules/.pnpm/dayjs@1.11.9/node_modules/dayjs/dayjs.min.js?v=b0e0e64f' does not provide an export named 'default' (at Upload.vue:10:8)
前提 在项目环境 vue3.3.4 + vite4.4.11 下，安装dayjs1.11.9 报错 Uncaught SyntaxError: The requested module '/vue3-print/node_modules/.pnpm/dayjs@1.11.9/node_modules ......
遇到的问题之“使用get请求时，请求参数中存在#导致后端request获取不到值”
一.问题 使用get请求时，请求参数中存在#导致后端request获取不到值 发出参数带#的请求 后端接收不到SKU的值，连后面platformId的值都没有了 二.原因 1、有些符号[参数包含有特殊字符（%、#、&）]在URL中是不能直接传递的，如果要在URL中传递这些特殊符号，那么就要使用他们的 ......
selenium等待元素加载,元素操作,执行js,切换选项卡,前进后退，异常处理,登录cnblogs,抽屉半自动点赞,xpath使用,动作链,自动登录12306
1 selenium等待元素加载🍧 # 程序执行速度很快 》获取标签 》标签还没加载好 》直接去拿会报错 # 显示等待：当你要找一个标签的时候，给它加单独加等待时间 # 隐士等待：只要写一行，代码中查找标签，如果标签没加载好，会自动等待 browser.implicitly_wait(10) 2 ......
requests-mock：轻松模拟HTTP请求的利器
一、 简介 requests-mock一个python库，用于单元测试中模拟HTTP请求的响应，它可以进行来模拟接口的各种场景。 安装： pip install requests-mock 二、 使用方法 模拟post请求 import requests import requests_mock d ......
Python爬虫与pyecharts可视化入门
python爬虫与pyecharts数据可视化 一、爬虫介绍 1、爬虫定义 网络爬虫: 又被称为网页蜘蛛，网络机器人，是一种按照一定的规则，自动地抓取网络信息的程序或者脚本，另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 通俗理解: 简单来讲，爬虫就是一个探测机器，它的基本操作就是模拟 ......
爬虫三
搜索文档树 1 、find_all ：找所有 列表 2、find 找一个 Tag类的对象 find和find_all 五种过滤器（字符串、正则表达式、列表、True、方法）： 字符串 可以按标签名，可以按属性，可以按文本内容 无论按标签名，按属性，按文本内容 都是按字符串形式查找： p=soup.f ......
爬虫之抓取js生成的数据
有很多页面，当我们用request发送请求，返回的内容里面并没有页面上显示的数据，主要有两种情况，一是通过ajax异步发送请求，得到响应把数据放入页面中，对于这种情况，我们可以查看关于ajax的请求，然后分析ajax请求路径和响应，拿到想要的数据；另外一种就是js动态加载得到的数据，然后放入页面中。 ......
搜索文档树，bs4其它用法，css选择器，selenium基本使用，selenium其它用法
1 搜索文档树🥨 # 1 find_all ：找所有 列表 # 2 find 找一个 Tag类的对象 1.1 find和find_all from bs4 import BeautifulSoup html_doc = """ <html><head><title>The Dormouse's s ......
爬虫+钉钉机器人提示
一，选择的框架是django 在 Django 项目中创建一个 app； 在 app 中创建一个名为 spider 的目录，用于存放爬虫代码； 在 spider 目录下创建一个名为 models.py 的文件，用于定义数据库模型； 在 models.py 中定义需要存储的字段，例如链接地址、链接标题 ......
pytesseract用法
import pytesseract from PIL import Image pytesseract.pytesseract.tesserac_cmd = r'D:\Tesseract-OCR\tesseract.exe' tessdat.dir.config = r'--tessdata-di ......
Pyhton基础爬虫教程(xpath实际操作)
xpath解析实战 tree= etree.parse("./test.html") # 普通定位 res = tree.xpath("/html/head/title")[0] # 获取所有标签 res = tree.xpath("//div") # 索引定位-> res = tree.xpath ......
【爬虫】一次爬取某瓣top电影前250的学习记录
先贴上爬取的脚本： import requests import re for i in range(1,11): num=(i-1)*25 url=f"https://movie.douban.com/top250?start={num}&filter=" head={"User-Agent":" ......
selenium保存cookies并使用
import import json import time from selenium import webdriver 保存 browser = webdriver.Firefox(executable_path=r"C:\MyProgrames\geckodriver.exe") # 根据实际 ......
爬虫之代理池、爬取视频网站、新闻、bs4
一、代理池搭建 1、频繁爬网站，ip容易被封 # ip代理 -每个设备都会有自己的IP地址 -电脑有ip地址 》访问一个网站 》访问太频繁 》封ip -收费：靠谱稳定--提供api -免费：不稳定--自己写api用 -开源的：https://github.com/jhao104/proxy_pool ......
爬虫之requests模块
一、爬虫介绍 1、 2、 二、requests模块 1、 2、 三、携带请求参数 1、 2、 四、url 编码和解码 1、 2、 五、携带请求头 1、 2、 六、发送post请求 1、 2、 七、携带cookie 1、 2、 八、响应对象 1、 2、 九、高级用法 1、 2、 ......
nextjs运行报错ReferenceError: Request is not defined
安装 npx create-next-app@latest 运行 npm run dev 使用node版本v16.20.1，报错：ReferenceError: Request is not defined 解决方案： 切换node: v18.16.1（npm: v9.5.1） 重新安装项目并运行， ......
requests-使用方法
安装 pip install requests -i http://mirrors.aliyun.com/pypi/simple/ 直接导入使用 import requests 给抓取的网站url url = 'http://www.baidu.com' 发起请求 # 发起请求 response = ......
Python selenium操作cookie
如何使用Selenium处理Cookie，今天彻底学会了 (qq.com) """ 1.学习目标: 掌握selenium对cookie操作 2.语法 2.1获取所有cookie driver.get.cookies（） 返同列表格式字典类型 [{},{},{}] 2.2添加cookie driver ......
postman Pre-request Script(预处理)post请求获取sign(接口鉴权)
背景 请求业务接口时需要先调用auth应用的鉴权接口获取sign（类似其他系统登录接口返回的token），否则会提示：鉴权失败，从而导致业务接口无法使用。获取sign接口请求参数为业务接口的请求参数，所以Pre-request Script(预处理)post请求内的body为变量。 一、Pre-re ......
Docker 中使用Selenium Grid
第一步 拉取hub镜像： docker pull selenium/hub 拉取chrome浏览器镜像： docker pull selenium/node-chrome 启动hub: docker run -p 5001:4444 -d --name hub selenium/hub docker ......
python的Selenium基础
前言：今日写hackergame2023时需要使用 python selenium库故特此来学习 1.1 什么是Selenium Selenium是python的一个库，作为一套web网站的程序自动化操作解决方案，可以帮我们自动干很多事情。比如 像人一样再浏览器里操纵web界面，比如点击界面，在文本 ......