Selenium
爬取的数据，存到mysql中、爬虫和下载中间件、加代理，cookie，header，加入selenium、去重规则源码分析（布隆过滤器）、scrapy-redis实现分布式爬虫
# 1 scrapy架构 -爬虫：写的一个个类 -引擎： -调度器：排队，去重 -下载器 -pipline -下载中间件 -爬虫中间件 # 2 命令 -scrapy startproject 项目名 -scrapy gensipder 爬虫名 网址 -scrapy crawl 爬虫名字 -run.p ......
0 爬取的数据，存到mysql中 、1 爬虫和下载中间件、 2 加代理，cookie，header，加入selenium、3 去重规则源码分析（布隆过滤器） 、4 scrapy-redis实现分布式爬虫
0 爬取的数据，存到mysql中 # 存到mysql中 class FirstscrapyMySqlPipeline: def open_spider(self, spider): print('我开了') self.conn = pymysql.connect( user='root', pass ......
解决Python+selenium切换作用域时报错'WebDriver' object has no attribute 'switch_to_window'
一、问题描述 selenium切换新网页作用域时，报错：'WebDriver' object has no attribute 'switch_to_window' 问题代码： driver.switch_to_window(driver.window_handles[-1]) 二、问题解决 sel ......
selenium登录cnblogs-抽屉半自动点赞-xpath的使用-selenium动作链-自动登录12306-打码平台使用-使用打码平台自动登录-使用selenium爬取jd商品信息-scrapy介绍
selenium登录cnblogs-抽屉半自动点赞-xpath的使用-selenium动作链-自动登录12306-打码平台使用-使用打码平台自动登录-使用selenium爬取jd商品信息-scrapy介绍 昨日回顾 # 1 beautifulsoup4 使用 xml解析库 用它来解析爬回来的html ......
docker-selenium分布式环境搭建（基于selenium的grid分布式框架）
说明：docker-selenium分布式是基于selenium的grid分布式框架进行搭建 以下是docker-selenium分布式网络拓扑图： 从图中可以看出： 1）docker-selenium可以用作浏览器兼容性测试； 2）docker-selenium分布式，可以提高测试用例的执行效率， ......
爬虫selenium模块
selenium基本使用 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 可以直接用代码模拟真实的浏览器操作，每一步的点击 输入等 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉 ......
selenium自动化测试学习1
注意：py文件命名的时候，不能直接命名为selenium.py，会和第三方包selenium冲突 一、环境搭建： 1、下载第三方包selenium pip3 install selenium -i https://pypi.tuna.tsinghua.edu.cn/simple 注：可以直接在vsc ......
scrapy架构介绍、scrapy解析数据、scrapy解析数据、持久化方案、全站爬取cnblogs文章、爬虫和下载中间件、加代理，cookie，header，加入selenium
# 1 selenium -登录cnblogs，拿到cookie，再打开cnblogs，写入cookie，它就是登录状态 -半自动点赞 》selenium生成的cookie，给requests用 -selenium操作浏览器，速度慢 -requests速度快 -动作链 -自动登录12306 # 2 ......
谈谈Selenium中浏览器驱动的日志
谈谈Selenium中浏览器驱动的日志 来源于一位同学，“老师为啥firefox执行后会有日志文件，chrome没有呢？” 比对 你打开chrome浏览器 from selenium import webdriver driver = webdriver.Chrome() 这样是没有日志的 同样的代 ......
解决Selenium元素拖拽不生效Bug
转载请注明出处❤️ 作者：测试蔡坨坨 原文链接：caituotuo.top/e8aa6c6f.html 你好，我是测试蔡坨坨。 前几天在使用Selenium进行元素拖拽操作时，发现Selenium自带的元素拖拽方法（dragAndDrop()）不生效，网上的回答也是五花八门，比较混乱，尝试了以下几种 ......
selenium结合tenacity的retry实现验证码失败重试
说在前面 验证码登录的demo后续可以单独讲解，VIP学员对这部分应该都是掌握的，此处不再赘述 本文假设了一个场景 你通过OCR识别的验证码是有一定的错误几率的 本文是通过识别后的验证码去加一个随机字符，如果取到的是''空字符则可能成功，否则必然不会成功 所涉及的python库 selenium d ......
自动化测试如此容易！多语言自动化测试框架 Selenium 编程（C#篇）
介绍 Selenium 官网：https://www.selenium.dev/ Selenium 是功能强大的自动化测试工具集，是支持 Web 浏览器自动化的一系列工具和库的总括项目，一共包括以下三个项目： Selenium WebDriver Selenium IDE Selenium Grid ......
玫瑰花变蚊子血,自动化无痕浏览器对比测试,新贵PlayWright Vs 老牌Selenium,基于Python3.10
也许每一个男子全都有过这样的两个女人，至少两个。娶了红玫瑰，久而久之，红的变了墙上的一抹蚊子血，白的还是床前明月光；娶了白玫瑰，白的便是衣服上沾的一粒饭黏子，红的却是心口上一颗朱砂痣。--张爱玲《红玫瑰与白玫瑰》 Selenium一直都是Python开源自动化浏览器工具的王者，但这两年微软开源的Pl ......
自动化运维：使用Maven与Docker运行Selenium测试
在这篇文章中，我们将向您展示如何创建交付流水线并实现以下目标： 使用Web应用程序构建Docker镜像 在Docker容器中运行该应用程序 从不同的容器中使用Maven运行Selenium测试 出于本文演示目的，我们将使用托管在GitHub上的Java示例项目: github.com/buddy-r ......
.Net6在Docker环境下操作Selenium.Chrome的那些坑
.Net6中想实现对某个网址截屏，可通过Selenium模拟访问网址并实现截图。 实现 安装Nuget包 <PackageReference Include="Selenium.Chrome.WebDriver" Version="85.0.0" /> <PackageReference Inclu ......
Selenium4+Python3系列（十二） - 测试框架的设计与开发
前言 自己从未没想过能使用python来做自动化测试框架的设计、开发。 可能有人会好奇说，六哥，你怎么也用python写测试框架了？ 领导说： python你也没有实际工作经验，可能就是自己自学的。 听完，那一刻，我真的特别证明自己，我也行！ 框架搭建 整个框架的实现，大约也就1.5天，关于框架的开 ......
Selenium4+Python3系列（十三） - 与docker中的jenkins持续集成
前言 文章更新到这一篇时，其实我还是很开心的，因为这也正是这系列教程的最后一篇文章，也算是完成了一个阶段性的小目标，也很感谢那些愿意看我文章与我交流学习的同学，感谢有你们的支持和陪伴。 Jenkins的下载安装 1、拉取镜像： 笔者是Mac系统，为了方便就直接使用Docker进行安装了，终端输入如下 ......
Selenium4+Python3系列（九） - 上传文件及滚动条操作
一、上传文件操作 上传文件是每个做自动化测试同学都会遇到，而且可以说是面试必考的问题，标准控件我们一般用send_keys()就能完成上传， 但是我们的测试网站的上传控件一般为自己封装的，用传统的上传已经不好用了， 也就是说用selenium的APi已经无法完成上传操作了。 那么下面，针对控件进行分 ......
Selenium4+Python3系列（十） - Page Object设计模式
前言 Page Object（PO）模式，是Selenium实战中最为流行，并且被自动化测试同学所熟悉和推崇的一种设计模式之一。在设计测试时，把页面元素定位和元素操作方法按照页面抽象出来，分离成一定的对象，然后再进行组织。 相信每个做自动化测试的同学，一定会遇到这样一个非常头疼的问题，那就是页面变化 ......
Selenium4+Python3系列（十一） - Page Factory设计模式
写在前面： Page Object模式，目的是将元素定位和元素操作分层，只接触测试内容，不写基础内容，便于后续对自动化测试用例体系的维护，这是中心思想，也是核心。 那么我们继续将简洁延续，这里沿用Java的Page Factory模式思想，旨在减少代码冗余，简单易用，具有高度的可扩展能力。 所以，这 ......