selenium
selenium元素操作无效的解决
1.首先确认元素定位是否正确 可以尝试打印元素数据，看是否正确捕获元素，若是未捕获，尝试其他定位方式 *.getText() 2)考虑是否不在同一个iframe ->切换到同一个iframe 3)元素遮盖，未显示等 ->滚动到正确位置（一般滚动到元素出现，如果是滚动到元素本身出现不行，可以尝试滚动到 ......
Scrapy集成selenium-案例-淘宝首页推荐商品获取
scrapy特性就是效率高，异步，如果非要集成selenium实际上意义不是特别大....因为selenium慢.... 案例：淘宝首页推荐商品的标题获取 爬虫类 toabao.py ```Python import scrapy from scrapy.http import HtmlRespon ......
Selenium等待元素出现
[https://www.selenium.dev/documentation/webdriver/waits/](https://www.selenium.dev/documentation/webdriver/waits/) 有时候我们需要等待网页上的元素出现后才能操作。selenium中可以使 ......
Selenium-无头模式headless
无头模式适合的场景： - 部署到没有gui界面的服务器，比如linux - 开发环境测试完全没问题后可以使用无头模式，提高selenium速度。 ```YAML # 使用headless无界面浏览器模式 chrome_options.add_argument('--headless') chrome ......
Selenium-[实例]猫眼电影爬取
```Python import random import time from selenium import webdriver from selenium.webdriver import ActionChains from selenium.webdriver.chrome.service ......
selenium滚动加载数据解决方案
有些网站时一直滚动就会加载新数据的，在selenium中解决方法： ```Python def loaddata_by_scroll(self, driver): js = 'return document.body.scrollHeight;' # 获取当前高度 check_height = dr ......
Selenium-ActionChains动作链（针对鼠标、滚轮等操作
[https://www.selenium.dev/documentation/webdriver/actions_api/](https://www.selenium.dev/documentation/webdriver/actions_api/) 注意：对于滚轮的操作，只支持chrome浏览器 ......
Selenium接管已经打开的浏览器并爬取数据
```Python """ P.S：需要接管现有浏览器 ** 使用步骤： 1、打开浏览器，设置好远程调试端口，并扫描登录淘宝。 chrome.exe --remote-debugging-port=9333 --user-data-dir="G:\spider_taobao"** 2、运行程序，自动 ......
Selenium文件上传
[https://www.selenium.dev/documentation/webdriver/elements/file_upload/](https://www.selenium.dev/documentation/webdriver/elements/file_upload/) 用的方法就 ......
Selenium浏览器属性、提取数据
# 浏览器属性 > 在使用selenium过程中，实例化driver对象后，driver对象有一些常用的属性和方法 1. `driver.page_source` 当前标签页浏览器渲染之后的网页源代码。 2. `driver.current_url` 当前标签页的url。 3. `dirver.ti ......
Selenium查找元素、元素的属性和方法
# 查找元素 官方文档：[https://www.selenium.dev/documentation/webdriver/elements/locators/](https://www.selenium.dev/documentation/webdriver/elements/locators/) ......
Selenium基本使用、过检测
```Python import time from selenium import webdriver from selenium.webdriver.chrome.service import Service as ChromeService # 驱动文件所在路径 DIRVER_PATH = r ......
「爬虫04」selenium
## 1 selenium等待元素加载 ```python # 程序执行速度很快 》获取标签 》标签还没加载好 》直接去拿会报错 # 显示等待：当你要找一个标签的时候，给它加单独加等待时间 # 隐士等待：只要写一行，代码中查找标签，如果标签没加载好，会自动等待 browser.implicitly_ ......
04 selenium：等待元素加载 ，元素操作，执行js，切换选项卡，前进后退，异常处理，登录cnblogs，抽屉半自动点赞，xpath使用，动作链，自动登录12306，打码平台，打码平台自动登录
# 1 selenium等待元素加载 ```python # 程序执行速度很快 》获取标签 》标签还没加载好 》直接去拿会报错 # 显示等待：当你要找一个标签的时候，给它加单独加等待时间 # 隐士等待：只要写一行，代码中查找标签，如果标签没加载好，会自动等待 browser.implicitly_w ......
03 爬取新闻 bs4介绍遍历文档树，bs4搜索文档树， css选择器， selenium基本使用，selenium其他使用 搜索标签
# 1 爬取新闻 ```python # 1 爬取网页 requests # 2 解析 xml格式，用了re匹配的 html，bs4，lxml。。。 json： -python ：内置的 -java ： fastjson 》漏洞 -java： 谷歌 Gson -go ：内置 基于反射，效率不高 `` ......
「爬虫03」bs4&selenium
## 1 爬取新闻 ```python # 1 爬取网页 requests # 2 解析 xml格式，用了re匹配的[xml包含html,html是xml的一种] html，bs4，lxml。。。 json： -python ：内置的 -java ： fastjson 》漏洞 -java： 谷歌 G ......
selenium 根据期刊信息获取知网文献信息 pt.1
哈喽大家好，我是咸鱼 之前写过一篇获取知网文献信息的文章（[关于《爬取知网文献信息》中代码的一些优化](http://mp.weixin.qq.com/s?__biz=MzkzNzI1MzE2Mw==&mid=2247485617&idx=1&sn=8c38163fc757784d3048e5043 ......
推荐Selenium 自动化测试实战
你将获得深入 Selenium 源码、原理、封装、技巧；unittest、pytest、DDT、POM 迭代测试方法；大型项目分布式测试解决方案；Jenkins 持续集成和交付。 演示地址：www.runruncode.com/portal/article/index/id/19451/cid/85 ......
使用selenium、xpath、半自动点赞、自动登录
## selenium等待元素加载 ```python # 程序执行速度很快 》获取标签 》标签还没加载好 》直接去拿会报错 # 显示等待：当你要找一个标签的时候，给它单独加等待时间 # 隐士等待：只要写一行，代码中查找标签，如果标签没加载好，会自动等待 bro.implicitly_wait(10 ......
selenium、xpath、打码平台
[toc] ## 1 selenium等待元素加载 ```python # 程序执行速度很快 》获取标签 》标签还没加载好 》直接去拿会报错 # 显示等待：当你要找一个标签的时候，给它加单独加等待时间 # 隐士等待：只要写一行，代码中查找标签，如果标签没加载好，会自动等待 browser.impli ......
爬取新闻 ，bs4, css选择器，selenium基本使用
[toc] ## 1 爬取新闻 ```python # 1 爬取网页 requests # 2 解析 xml格式，用了re匹配的 html，bs4，lxml。。。 json： -python ：内置的 -java ： fastjson 》漏洞 -java： 谷歌 Gson -go ：内置 基于反射， ......
selenium执行js
```plaintext ### selenium执行js ```python import json import requests from selenium import webdriver from selenium.webdriver.common.by import By import ......
selenium切换选项卡
```plaintext ### selenium切换选项卡 ```python selenium切换选项卡 brower = webdriver.Chrome() brower.get('https://www.pearvideo.com/') brower.implicitly_wait(10) ......
selenium登录cnblogs
```plaintext ### selenium登录cnblogs ```python ''' # 1 打开cnblogs，点进登录页面，输入用户名密码，点登录(可能会出现验证码)--》手动操作 # 2 登录成功后 》拿到cookie 》保存到本地 》关闭浏览器 # 3 开启selenium，打开 ......
selenium前进后退，异常处理
```plaintext ### selenium前进后退，异常处理 ```python brower = webdriver.Chrome() brower.get('https://www.pearvideo.com/') brower.implicitly_wait(10) brower.ma ......
selenium
Python Automation Scripts Examples Use Django And Selenium Django is the most popular web framework in the python world. You can use it to create a we ......
bs4、selenium的使用
## 爬取新闻 ```python # 1 爬取网页 requests # 2 解析 xml格式，用了re匹配的 html，bs4，lxml。。。 json： -python ：内置的 -java ： fastjson 》漏洞 -java： 谷歌 Gson -go ：内置 基于反射，效率不高 ``` ......
Selenium Grid
用于在不同机器，不同浏览器的并行测试工具 工作原理：selenium scripts发送请求调用hub节点，然后通过hub节点分发到具体的测试用例到node节点执行 环境搭建： 1、文件准备 https://selenium-release.storage.googleapis.com/index. ......
selenium之跳过手机验证码登陆
使用selenium模拟用户登录时，还会碰到这样的情况：每次打开网页，都需要登录。 这个是没什么难度，但如果每次都让你进行人工验证，就很崩溃了，比如前面文章就写了验证码登录，滑块登录，就解决了一部分问题。 但现在又碰到过每次登录都需要输入手机验证码，这不就让人抓狂了嘛！那有什么解决办法呢？ 方法1： ......
python引入selenium报错ImportError: cannot import name 'webdriver' from partially initialized module 'selenium' (most likely due to a circular import)
背景： 新建一个名为：selenium.py的脚本文件，代码如下： from selenium import webdriver browser = webdriver.Chrome() browser.get('https://www.baidu.com/') 实现，我们已经通过pip insta ......