爬虫pytesseract requests selenium
selenium常用知识点
selenium知识点 selenium截屏 全屏截屏:截屏的是可视区域 driver.save_screenshot('baidu1.png') 部分截屏:指定元素截屏 image=driver.find_element(By.XPATH,'//*[@id="app"]/div/div/div[2 ......
python优雅地爬虫
我需要获得新闻，然后tts，在每天上班的路上可以听一下。具体的方案后期我也会做一次分享。先看我喜欢的万能的老路：获得html内容-> python的工具库解析，获得元素中的内容，完成。 好家伙，我知道我爬取失败了。一堆js代码，看得我烦。我一去看页面发现：原来新闻的获得是走的接口，然后js插入文档的 ......
python爬虫——爬虫伪装和反“反爬”
前言爬虫伪装和反“反爬”是在爬虫领域中非常重要的话题。伪装可以让你的爬虫看起来更像普通的浏览器或者应用程序，从而减少被服务器封禁的风险；反“反爬”则是应对服务器加强的反爬虫机制。下面将详细介绍一些常见的伪装和反反爬技巧，并提供对应的代码案例。 1. User-Agent伪装User-Agent是HT ......
Selenium Web 自动化 - Selenium(Java)环境搭建 （new）
Selenium Web 自动化 - Selenium(Java)环境搭建 （new） 2023-08-11 0 背景 开发工具idea 代码管理maven jdk1.8 webdriver chrome 1 chromedriver & chrome chromedriver和chrome要对应上 ......
js玩儿爬虫
# 前言 提到爬虫可能大多都会想到python，其实爬虫的实现并不限制任何语言。 下面我们就使用js来实现，后端为express，前端为vue3。 # 实现功能 话不多说，先看结果：  > 简单的爬取图片 # 前言 这几天打算整理与迁移一下博客。~~因为 CSDN 的 Markdown 编辑器很好用~~ ，所以全部文章与相关图片都保存在 CSDN。而且 CSDN 支持一键导出自己的文章为 markdown 文件。但导出的文件中图片的连接依旧是 url 连接。为 ......
爬虫之selenium
一、selenium模块 之前，我们爬虫是模拟浏览器，但始终不是用的浏览器，但今天我们要说的是另一种爬虫方式，这次不是模拟浏览器，而是用程序去控制浏览器进行一些列操作，也就是selenium。selenium是python的一个第三方库，对外提供的接口可以操控浏览器，比如说输入、点击，跳转，下拉等动 ......
python里requests库
import requests res=requests.get('http://www.lemfix.com') # print('请求头：',res.request.headers) # print('状态码：',res.status_code) # print('响应头：',res.heade ......
selenium配置
chrome driver下载 https://sites.google.com/chromium.org/driver/home chrome的console可以用来验证xpath $x("你的xPath") ......
利用爬虫爬知乎少字回答
利用爬虫爬知乎少字回答 # [感谢马哥python说的指导](https://www.cnblogs.com/mashukui/) 最近在学习有关的知识 如果怕对服务器影响 可以修改sleep 时间每次更长一点。 这样就不用看一些营销号的长篇大论 或者看别人写小说了。  ```python # -*- coding: utf-8 -*- """ Created on 20 ......
python实现简单的爬虫功能
前言Python是一种广泛应用于爬虫的高级编程语言，它提供了许多强大的库和框架，可以轻松地创建自己的爬虫程序。在本文中，我们将介绍如何使用Python实现简单的爬虫功能，并提供相关的代码实例。 如何实现简单的爬虫1. 导入必要的库和模块在编写Python爬虫时，我们需要使用许多库和模块，其中最重要的 ......
Request.url请求路径的一些属性
https://blog.csdn.net/u012726702/article/details/51737795 Request.url请求路径的一些属性1,Request.UrlReferrer.AbsolutePath=获取URL的绝对路径例："/Manager/Module/Official ......
selenium 弹框
Web页面弹窗的分类 弹窗通常有3种：Alert类型弹框、Confirm类型弹框、Prompt类型弹框，这种我们无法通过定位元素来操作。它们的具体特点如下： Alert弹窗：只有信息及确认按钮 Confirm弹窗：在Alert弹窗基础上增加了取消按钮 Prompt类型弹框：在Confirm的基础上增 ......
selenium 日期控件
只读控件的日期控件，如何实现输入？ javascript 实现 调用execute_script """ js操作 execute_script """ import time from selenium import webdriver from selenium.webdriver.common ......
selenium 滚动条
什么情况下，需要把元素放到可见区域我才可以操作呢？ 懒加载/慢加载 必须把元素移动可见区域 """ 滚动条操作 """ import time from selenium import webdriver from selenium.webdriver.common.by import By fro ......
selenium
[toc] # 一 selenium基本使用 ```python # requests 发送请求，不能加载ajax # selenium：直接操作浏览器，不是直接发送http请求，而是用代码控制模拟人操作浏览器的行为，js会自动加载 # requests和selenium谁的效率高？requests ......
axios 请求拦截（request）与响应拦截（response）
1.请求拦截(request) 请求拦截就是在发ajax之前做些什么！例如：可以在请求拦截里面加个token请求头，做些判断等等！ 语法： axios.interceptors.request.use( (config)=>{}, (error)=>{} ) 1.1.参数1：(config)=>{} ......
爬爬《五》:爬虫入门与urllib&requests
# 前情摘要 ## 一、web请求全过程剖析 我们浏览器在输入完网址到我们看到网页的整体内容, 这个过程中究竟发生了些什么? 我们看一下一个浏览器请求的全过程 ![](https://img2023.cnblogs.com/blog/2141022/202308/2141022-2023080717 ......
Selenium简介
Selenium是一个用于网站应用程序自动化的工具。它可以直接运行在浏览器中，就像真正的用户在操作一样。它支持的浏览器包括IE、Mozilla Firefox、Safari、Google Chrome和Opera等，同时支持多种编程语言，如.Net、Java、Python和Ruby等。 ## 安装 ......
爬虫不仅仅selenium自动化，还有这些。。。
1.DrissionPage 这款工具既能控制浏览器，也能收发数据包，甚至能把两者合而为一，简单来说：集合了WEB浏览器自动化的便利性和 requests 的高效率优点。 采用全自研的内核，对比 selenium，有以下优点： 无 webdriver 特征，不会被网站识别，无需为不同版本的浏览器下载 ......