user-agent selenium agent user
mysql报错：You must reset your password using ALTER USER statement before executing this statement.
mysql报错：You must reset your password using ALTER USER statement before executing this statement.新安装mysql后，登录后，执行任何命令都会报错：You must reset your password ......
Scrapy集成selenium-案例-淘宝首页推荐商品获取
scrapy特性就是效率高，异步，如果非要集成selenium实际上意义不是特别大....因为selenium慢.... 案例：淘宝首页推荐商品的标题获取 爬虫类 toabao.py ```Python import scrapy from scrapy.http import HtmlRespon ......
Selenium等待元素出现
[https://www.selenium.dev/documentation/webdriver/waits/](https://www.selenium.dev/documentation/webdriver/waits/) 有时候我们需要等待网页上的元素出现后才能操作。selenium中可以使 ......
Selenium-无头模式headless
无头模式适合的场景： - 部署到没有gui界面的服务器，比如linux - 开发环境测试完全没问题后可以使用无头模式，提高selenium速度。 ```YAML # 使用headless无界面浏览器模式 chrome_options.add_argument('--headless') chrome ......
Selenium-[实例]猫眼电影爬取
```Python import random import time from selenium import webdriver from selenium.webdriver import ActionChains from selenium.webdriver.chrome.service ......
selenium滚动加载数据解决方案
有些网站时一直滚动就会加载新数据的，在selenium中解决方法： ```Python def loaddata_by_scroll(self, driver): js = 'return document.body.scrollHeight;' # 获取当前高度 check_height = dr ......
Selenium-ActionChains动作链（针对鼠标、滚轮等操作
[https://www.selenium.dev/documentation/webdriver/actions_api/](https://www.selenium.dev/documentation/webdriver/actions_api/) 注意：对于滚轮的操作，只支持chrome浏览器 ......
Selenium接管已经打开的浏览器并爬取数据
```Python """ P.S：需要接管现有浏览器 ** 使用步骤： 1、打开浏览器，设置好远程调试端口，并扫描登录淘宝。 chrome.exe --remote-debugging-port=9333 --user-data-dir="G:\spider_taobao"** 2、运行程序，自动 ......
Selenium文件上传
[https://www.selenium.dev/documentation/webdriver/elements/file_upload/](https://www.selenium.dev/documentation/webdriver/elements/file_upload/) 用的方法就 ......
Selenium浏览器属性、提取数据
# 浏览器属性 > 在使用selenium过程中，实例化driver对象后，driver对象有一些常用的属性和方法 1. `driver.page_source` 当前标签页浏览器渲染之后的网页源代码。 2. `driver.current_url` 当前标签页的url。 3. `dirver.ti ......
Selenium查找元素、元素的属性和方法
# 查找元素 官方文档：[https://www.selenium.dev/documentation/webdriver/elements/locators/](https://www.selenium.dev/documentation/webdriver/elements/locators/) ......
Selenium基本使用、过检测
```Python import time from selenium import webdriver from selenium.webdriver.chrome.service import Service as ChromeService # 驱动文件所在路径 DIRVER_PATH = r ......
配置问题-Error creating bean with name 'user' defined in class path resource [bean.xml]
正在学习 IoC 使用的 jdk 版本为 jdk 17 依赖为： ```xml org.springframework spring-core 6.0.6 org.springframework spring-context 6.0.9 org.junit.jupiter junit-jupiter ......
vscode配置Configure User Snippets 不生效
正常Ctrl+shift+p打开"设置"，Configure User Snippets -> python.json { // Place your snippets for python here. Each snippet is defined under a snippet name and ......
「爬虫04」selenium
## 1 selenium等待元素加载 ```python # 程序执行速度很快 》获取标签 》标签还没加载好 》直接去拿会报错 # 显示等待：当你要找一个标签的时候，给它加单独加等待时间 # 隐士等待：只要写一行，代码中查找标签，如果标签没加载好，会自动等待 browser.implicitly_ ......
Linux-User相关
### 1、useradd 创建用户 `useradd -u ${UID} -d ${HOME_DIR} -g ${GROUP} -s ${LOGIN_EXEC} ${USER_NAME}` - -u 指定用户UID - -d 指定用户家目录，若不存在，系统会自动创建 - -G 指定用户的附加组，可 ......
从需求去理解 Linux dbus与基于dbus协议的无agent软件管理
从需求去理解 Linux dbus与基于dbus协议的无agent软件管理 转载 What is IPC IPC [Inter-Process Communication] 进程间通信，指至少两个进程或线程间传送数据或信号的一些技术或方法。在Linux/Unix中，提供了许多IPC。Unix七大IP ......
04 selenium：等待元素加载 ，元素操作，执行js，切换选项卡，前进后退，异常处理，登录cnblogs，抽屉半自动点赞，xpath使用，动作链，自动登录12306，打码平台，打码平台自动登录
# 1 selenium等待元素加载 ```python # 程序执行速度很快 》获取标签 》标签还没加载好 》直接去拿会报错 # 显示等待：当你要找一个标签的时候，给它加单独加等待时间 # 隐士等待：只要写一行，代码中查找标签，如果标签没加载好，会自动等待 browser.implicitly_w ......
03 爬取新闻 bs4介绍遍历文档树，bs4搜索文档树， css选择器， selenium基本使用，selenium其他使用 搜索标签
# 1 爬取新闻 ```python # 1 爬取网页 requests # 2 解析 xml格式，用了re匹配的 html，bs4，lxml。。。 json： -python ：内置的 -java ： fastjson 》漏洞 -java： 谷歌 Gson -go ：内置 基于反射，效率不高 `` ......
User Registration with ASP.NET Core Identity
User Registration with ASP.NET Core Identity So basically, we have all the input fields from our model in this view. Of course, clicking the Create bu ......
函数：随机生成User-Agent 字符串，用于模拟不同的浏览器和操作系统类型，增加爬虫的隐蔽性
1 def get_ua(self): 2 first_num = random.randint(99, 103) 3 third_num = random.randint(0, 5060) 4 fourth_num = random.randint(0, 140) 5 os_type = ['(W ......
「爬虫03」bs4&selenium
## 1 爬取新闻 ```python # 1 爬取网页 requests # 2 解析 xml格式，用了re匹配的[xml包含html,html是xml的一种] html，bs4，lxml。。。 json： -python ：内置的 -java ： fastjson 》漏洞 -java： 谷歌 G ......
selenium 根据期刊信息获取知网文献信息 pt.1
哈喽大家好，我是咸鱼 之前写过一篇获取知网文献信息的文章（[关于《爬取知网文献信息》中代码的一些优化](http://mp.weixin.qq.com/s?__biz=MzkzNzI1MzE2Mw==&mid=2247485617&idx=1&sn=8c38163fc757784d3048e5043 ......
推荐Selenium 自动化测试实战
你将获得深入 Selenium 源码、原理、封装、技巧；unittest、pytest、DDT、POM 迭代测试方法；大型项目分布式测试解决方案；Jenkins 持续集成和交付。 演示地址：www.runruncode.com/portal/article/index/id/19451/cid/85 ......
使用selenium、xpath、半自动点赞、自动登录
## selenium等待元素加载 ```python # 程序执行速度很快 》获取标签 》标签还没加载好 》直接去拿会报错 # 显示等待：当你要找一个标签的时候，给它单独加等待时间 # 隐士等待：只要写一行，代码中查找标签，如果标签没加载好，会自动等待 bro.implicitly_wait(10 ......
selenium、xpath、打码平台
[toc] ## 1 selenium等待元素加载 ```python # 程序执行速度很快 》获取标签 》标签还没加载好 》直接去拿会报错 # 显示等待：当你要找一个标签的时候，给它加单独加等待时间 # 隐士等待：只要写一行，代码中查找标签，如果标签没加载好，会自动等待 browser.impli ......
爬取新闻 ，bs4, css选择器，selenium基本使用
[toc] ## 1 爬取新闻 ```python # 1 爬取网页 requests # 2 解析 xml格式，用了re匹配的 html，bs4，lxml。。。 json： -python ：内置的 -java ： fastjson 》漏洞 -java： 谷歌 Gson -go ：内置 基于反射， ......
selenium执行js
```plaintext ### selenium执行js ```python import json import requests from selenium import webdriver from selenium.webdriver.common.by import By import ......
selenium切换选项卡
```plaintext ### selenium切换选项卡 ```python selenium切换选项卡 brower = webdriver.Chrome() brower.get('https://www.pearvideo.com/') brower.implicitly_wait(10) ......
selenium登录cnblogs
```plaintext ### selenium登录cnblogs ```python ''' # 1 打开cnblogs，点进登录页面，输入用户名密码，点登录(可能会出现验证码)--》手动操作 # 2 登录成功后 》拿到cookie 》保存到本地 》关闭浏览器 # 3 开启selenium，打开 ......