抽屉selenium cnblogs scrapy
Docker 中使用Selenium Grid
第一步 拉取hub镜像： docker pull selenium/hub 拉取chrome浏览器镜像： docker pull selenium/node-chrome 启动hub: docker run -p 5001:4444 -d --name hub selenium/hub docker ......
python的Selenium基础
前言：今日写hackergame2023时需要使用 python selenium库故特此来学习 1.1 什么是Selenium Selenium是python的一个库，作为一套web网站的程序自动化操作解决方案，可以帮我们自动干很多事情。比如 像人一样再浏览器里操纵web界面，比如点击界面，在文本 ......
selenium+python,自动获取cookie登录
一、通过cookie一直保持自动登录状态 1.手动操作原理： 保持自动登录状态 1.通过cookie信息的唯一标识ID 2.登录后一直保持不退出状态，就可以实现自动登录 登录后，session唯一标识：如果当前是登录状态，那就是登录。如果不是登录状态，就不是登录的。 如何查看是否登录状态？ 浏览器打 ......
selenium远程调用浏览器（firefox版）
安装selenium浏览器服务 docker run --name firefox -d -p 4444:4444 -p 7900:7900 --shm-size="2g" selenium/standalone-firefox:3.141 demo from selenium import web ......
selenium4 增加超时和等待时间
增加全局的超时 和 等待时间： import time from selenium.webdriver import Keys, ActionChains from selenium.webdriver.common.by import By from selenium import webdriv ......
Selenium学习--0
参考链接Python测试驱动开发 Q：参考链接命令无法创建django程序 A：命令修改 # 原命令 django-admin.py startproject superlists # 修改成 django-admin startproject superlists # 启动Django的开发服务器 ......
[-005-]-Python3+Unittest+Selenium Web UI自动化测试之页面滑动
1.上下滑动 a.滑动 # 滑动至页面底部： js1 = "window.scrollTo(0, document.body.scrollHeight)" self.driver.execute_script(js1) # 滑动至页面顶部： js2 = "window.scrollTo(0, 0)" ......
selenium+python,登录有验证码的处理方式
验证码的验证方式 1.关闭验证码功能 2.设置万能验证码 3.通过第三方打码平台识别验证码 验证码图片获取提取验证码信息 验证码图片识别 通过第三方平台 1.超级鹰https://www.chaojiying.com/ 2.通过发送一个第三方的接口请求处理识别验证码 http://upload.ch ......
数据结构与算法-cnblog
数据结构与算法 课程笔记 树与二叉树 树的深度与高度 高度就可以理解为深度 看层数： 如果根结点第0，层数=深度=高度-1 如果根结点第1，层数=深度=高度 深度定义是从上往下的，高度定义是从下往上的 ......
selenium 知网爬虫之根据【关键词】获取文献信息
哈喽大家好，我是咸鱼 之前咸鱼写过几篇关于知网爬虫的文章，后台反响都很不错。虽然但是，咸鱼还是忍不住想诉苦一下 有些小伙伴文章甚至代码看都没看完，就问我 ”为什么只能爬这么多条文献信息？“（看过代码的会发现我代码里面定义了 papers_need 变量来设置爬取篇数），”为什么爬其他文献不行？我想爬 ......
macos pip3 安装 mycli/scrapy 路径报错 WARNING: The script tabulate is installed in '/Users/modys/Library/Python/3.9/bin' which is not on PATH.
WARNING: The script tabulate is installed in '/Users/modys/Library/Python/3.9/bin' which is not on PATH. python没有添加到环境变量 export PATH=/Users/<you>/Libr ......
21.9 Python 使用Selenium库
Selenium是一个自动化测试框架，主要用于Web应用程序的自动化测试。它可以模拟用户在浏览器中的操作，如打开网页、点击链接、填写表单等，并且可以在代码中实现条件判断、异常处理等功能。Selenium最初是用于测试Web应用程序的，但也可以用于其他用途，如爬取网站数据、自动化提交表单等。Selen... ......
MongoDB-cnblog
MongoDB 目录MongoDB1概述应用场景体系结构启动linux安装child process failed, exited with 512基本使用数据库集合（表）文档增查改删分页查询更多查询3索引索引操作索引的使用4案例：文章评论5副本集两种类型三种角色副本集的创建测试主节点的选举原则故障 ......
scrapy 爬虫框架（二）
scrapy 爬虫类 一. 重写 start_request 方法 1. scrapy 起始url 在创建爬虫的时候，父类中会执行start_request 函数，并且默认的回调函数为 def parge(self,response):pass 2. start_request函数 循环url 封装 ......
scrapy中的CrawlSpider
CrawlSpider爬虫的创建 1. 创建项目 scrapy startproject 项目名例如：scrapy startproject circ 2. 创建CrawlSpider 爬虫 scrapy genspider -t crawl 爬虫名 网站名例如：scrapy genspider - ......
scrapy自定义命令、中间件、自定扩展、去重
一、自定义命令 1.不用在命令窗口 敲命令，通过py文件执行爬虫程序。 （1）在项目配置文件scrapy.cfg同级目录下创建一个start.py 文件。 （2）在start.py 文件中写入以下代码： from scrapy.cmdline import execute execute(['scr ......
scrapy中的CSVFeedSpider
目标网站： http://beijingair.sinaapp.com/ 目标文件的格式： 此处以爬取一个文件内容为例： http://beijingair.sinaapp.com/data/beijing/all/20131205/csv 爬取更多 文件 ： 文件中的数据格式： 1.创建项目： s ......
scrapy-redis
scrapy-redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能： scheduler - 调度器 dupefilter - URL去重规则（被调度器使用） pipeline - 数据持久化 scrapy-redis组件 1. URL去 ......
scrapy中爬虫数据如何异步存储mysql数据库jd
1. SQL CREATE TABLE `JDAll` ( `shop_id` VARCHAR (16) NOT NULL, //商品ID `url` VARCHAR (255) DEFAULT NULL, //商品url `title` VARCHAR (1024) DEFAULT NULL, / ......
Python自动化测试selenium指定截图文件名方法
这篇文章主要介绍了Python自动化测试selenium指定截图文件名方法，Selenium 支持 Web 浏览器的自动化，它提供一套测试函数，用于支持 Web 自动化测试，下文基于python实现指定截图文件名方法，需要的小伙伴可以参考一下 ......
MarkDown笔记如何上传cnblog
简介 Dotnet-cnblog工具可以配合typora实现自动上传md文件里图片到博客园的图床，这样就不用自己一张张来上传 安装过程 1.配置NET环境 net环境下载地址：https://dotnet.microsoft.com/zh-cn/download/dotnet/5.0 下载后安装NE ......
Selenium4 上传文件，弹出对话框（非input框）
场景： 点击一个按钮，然后弹出对话框，从本地选择需要上传的文件，自动关闭对话框。 最后在点击web页面的ok按钮 提交上传文件。 ps:因为这里是按钮上传，所以用input框的sendkeys方法是无法上传成功的了。 下面是点击按钮上传成功的案例，需要注意的是，上传时，还需要了解各个按键是什么tex ......
操作系统-cnblog
操作系统 目录操作系统1概念命令接口特征操作系统的发展单道批处理系统多道批处理系统分时操作系统实时操作系统运行机制中断和异常系统调用操作系统体系结构内核操作系统引导虚拟机2进程进程的状态与转换原语进程通信（IPC）线程概念实现方式线程的状态与转换 组织与控制处理机调度进程调度的时机、切换与过程调度器 ......
python selenium chrome 清缓存
from selenium import webdriver # 创建Chrome WebDriver实例 driver = webdriver.Chrome() # 执行CDP命令清除浏览器缓存 driver.execute_cdp_cmd('Network.clearBrowserCookies ......
python selenium 在新tab页打开URL
from selenium import webdriver # 启动浏览器驱动器 driver = webdriver.Chrome() # 打开一个新标签页 driver.execute_script("window.open('about:blank', '_blank')") # 切换到新标 ......
selenium无头浏览器，禁用图片，禁用js，切换UA，反爬
from selenium import webdriver from fake_useragent import UserAgent ua = UserAgent().random options = webdriver.ChromeOptions() options.add_argument(' ......
Python + Selenium + Firefox 使用代理 auth 的用户名密码授权
Python + Firefox + 插件（closeproxy.xpi） 其中，closeproxy.xpi文件，需要Google、Bing搜下都能搜到下载地址 完整的测试代码如下： from selenium import webdriver from selenium.webdriver.fi ......
谈谈selenium中的cookie操作
实例演示 以登录网易云音乐为例 分两步走 获取cookies from selenium import webdriver from pprint import pprint driver = webdriver.Chrome() driver.maximize_window() driver.ge ......
Python3+selenium3+Firefox 设置浏览器headless模式运行+下载文件
设置Firefox headless模式 def setUp(self): # Firefox headless模式运行 options = webdriver.FirefoxOptions() options.add_argument('-headless') self.driver = webd ......