爬虫pytesseract requests selenium
Python+Selenium.webdriver实现WEB端UI自动化测试
本篇记录基于Python+Selenium.webdriver实现WEB端UI自动化测试，其中测试用例使用excel维护。 1.项目选取（登录页无验证码校验的项目） 该示例选取的是登录页不需要输入验证码校验的基础页面（考虑到现在大部分项目都是需要进行验证码校验的，后面研究后再出一篇相关的分享。） 2 ......
爬虫最后一天,爬取到的数据存到mysql中，爬虫和下载中间件、加代理、cookie、header、selenium、随机生成uersagent、去重规则源码分析(布隆过滤器)、scrapy-redis实现分布式爬虫、扩展去重规则
==爬到的数据存到mysql中== class FirstscrapyMySqlPipeline: def open_spider(self, spider): print('我开了') self.conn = pymysql.connect( user='root', password="", h ......
python Selenium自动化测试
转载自 https://blog.csdn.net/tangya3158613488/article/details/106902110 Selenium自动化测试 什么是自动化测试 自动化测试指软件测试的自动化，在预设状态下运行应用程序或者系统，预设条件包括正常和异常，最后评估运行 结果。总的概括 ......
什么是爬虫
什么是爬虫 伪装成浏览器与服务器进行数据交互的自动化程序 我找你要，你给我给 爬虫的分类 通用爬虫 聚焦爬虫 如何伪装？ User-Agent：产生请求的浏览器类型; referer：防盗链，页面跳转处，表明产生请求的网页来自于哪个URL，告诉服务器我是从哪个链接过来的 Host：请求的主机名，允许 ......
什么是网络爬虫？有什么用？怎么爬？
以前常听见爬取这个名词，今天搜了搜，展示如下： 导读：网络爬虫也叫做网络机器人，可以代替人们自动地在互联网中进行数据信息的采集与整理。在大数据时代，信息的采集是一项重要的工作，如果单纯靠人力进行信息采集，不仅低效繁琐，搜集的成本也会提高。 此时，我们可以使用网络爬虫对数据信息进行自动采集，比如应用于 ......
scrapy爬虫框架（七）Extension的使用
一、简介 Scrapy提供了一个Extension机制，可以让我们添加和扩展一些自定义的功能。利用Extension我们可以注册一些处理方法并监听Scrapy运行过程中的各个信号，做到发生某个事件时执行我们自定义的方法。 Scrapy已经内置了一些Extension，如LogStats这个Exten ......
自学Python爬虫笔记（day4）
环境python3.9版本及以上，开发工具pycharm 今天是对requests模块的应用实战，分别是爬取豆瓣电影TOP250的基本信息和电影天堂“2023必看热片”的名称及下载地址。具体如下： '''爬取豆瓣电影TOP250的基本信息 思路： 1.拿到页面源代码 2.编写正则，提取页面数据 3. ......
爬虫基础内容回顾
回顾基础内容 浏览器. 简单聊聊浏览器工作原理： 浏览器在加载页面源代码的时候. 会遇到一些特殊的东西 1. 图片<img> 2. css样式<link href="xxxxx.css"> 3. js文件<script src="xxxxx.js> 4. js代码片段 <script>js代码</s ......
flask：请求上下文分析（源码：request原理）、wtforms（了解）
一、请求上下文分析（源码：request原理） 1.1 导出项目的依赖（pipreqs模块） 之前我们是用 pip freeze >requirements.txt 把当前解释器环境下的所有第三方依赖都导出来 而使用第三方模块：pipreqs模块，可以实现精确导出依赖（只显示安装的模块，不显示模块的 ......
scrapy爬虫框架（六）Item Pipeline的使用
Item Pipeline即项目管道，它的调用发生在Spider产生Item之后。当Spider解析完Response，Item就会被Engine传递到Item Pipeline，被定义的Item Pipeline组件会顺次被调用，完成一连串的处理过程，比如数据清洗、存储等。 Item Pipeli ......
Python selenium过图片滑块验证
计算滑块移动距离 def get_distance(image1,image2): ''' 拿到滑动验证码需要移动的距离 :param image1:没有缺口的图片对象 :param image2:带缺口的图片对象 :return:需要移动的距离 ''' # print('size', image1 ......
爬虫之数据库存储
在对于爬取数量数量较少时，我们可以将爬虫数据保存于CSV文件或者其他格式的文件中，既简单又方便，但是如果需要存储的数据量大，又要频繁访问这些数据时，就应该考虑将数据保存到数据库中了。目前主流的数据库有关系性数据库MySQL，以及非关系性数据库MongoDB和Redis等。这里我先来讲讲MySQL。 ......
java简易爬虫Crawler
这是我的第一个java爬虫，比较简单，没有队列，广度优先算法等，用list集合代替了队列。 而且只爬取一个网址上面的图片，并不是将网址中的链接<href>加入队列，然后下载一个网址一个网址下载其中的图片。 不过，这是前期的，处于摸索阶段，后期学完队列和广算后，在涉及一点多线程，肯定会比想象中的更实用 ......
如何利用代理IP优化网络爬虫
网络爬虫会自动扫描互联网，搜集大量数据并将它们组织起来。但是，许多网站都采取了反爬虫策略，限制了网络爬虫的活动。这时候，代理IP就起到了关键作用。代理IP可以让网络爬虫“变身”为不同的可以合法访问网站的用户，从而绕过网站的反爬虫机制，保护了网络爬虫的稳定运行。而且，使用代理IP还可以隐藏真实IP地址 ......
scrapy通用爬虫及反爬技巧
一、通用爬虫 通用爬虫一般有以下通用特性: 爬取大量(一般来说是无限)的网站而不是特定的一些网站。 不会将整个网站都爬取完毕，因为这十分不实际(或者说是不可能)完成的。相反，其会限制爬取的时间及数量。 在逻辑上十分简单(相较于具有很多提取规则的复杂的spider)，数据会在另外的阶段进行后处理(po ......
flask请求上下文分析，源码request原理，wtforms，精确导出依赖，函数和方法，threading.locl对象，偏函数，flask整个生命周期执行流程1.1.4版本
内容回顾 蓝图 第一步：导入 第二步：实例化得到对象，可以指定static和templates 第三步：app中注册蓝图，注册蓝图时，可以指定前缀 第四步：使用蓝图，注册路由，注册请求扩展 g对象 当次请求的全局对象，在当次请求中可以放值和取值 跟session的区别是session可以在多次请求中 ......
M3U8流视频数据爬虫
HLS技术介绍 现在大部分视频客户端都采用HTTP Live Streaming，而不是直接播放MP4等视频文件（HLS，Apple为了提高流播效率开发的技术）。HLS技术的特点是将流媒体切分为若干【TS片段】（比如几秒一段），然后通过一个【M3U8列表文件】将这些TS片段批量下载供客户端播放器实现 ......
flask之request源码和第三方模块wtforms
请求上下文分析(源码：request原理) 1. 导出项目的依赖 以前导出项目的依赖：pip freeze >requirements.txt 把当前解释器环境下的所有第三方依赖都导出来。 flask导出依赖，借助于第三方模块pipreqs 第三发模块引用 1.安装 pip install pipr ......
在线商城爬虫 带爬取记录 以11TREET 为例
整体思路 第一步 抓取全部的列表页链接 第二步 抓取每个列表页的商品总数，页数 第三步 单个列表页 进行分业 抓取商品价格 第四步 单个列表页抓取完成后 输出商品数据并在本地文件记录本次抓取 最后一步 合并各个列页表抓取的商品数据 第一步 爬取的网站，获得分类信息 https://global.11 ......
python requests-html
#pip install requests-html ''' 目标网站： https://pic.netbian.com ''' from requests_html import HTMLSession import re,os import requests from tqdm import t ......
Python+Requests+pytest+allure+yaml+DDT+logs 的自动化测试框架
下面是一套基于 Python+Requests+pytest+allure+yaml+DDT+logs 的自动化测试框架示例： Python 3.6 或更高版本 requests 库：用于发送 HTTP 请求和处理响应 pytest 测试框架：用于编写和运行测试用例 allure 测试报告工具：用于 ......
1 请求上下文分析（源码：request原理）、2 wtforms（了解）
1 请求上下文分析（源码：request原理） 1.1 导出项目的依赖 # 之前 pip freeze >requirments.txt 把当前解释器环境下的所有第三方依赖都导出来 # 使用第三方模块，更精确的导出依赖 pipreqs 第一步：安装 pip3 install pipreqs 第二步： ......
java后端接收Request请求参数方式
1.直接在Controller 方法参数上配置参数名 @RequestMapping("/method01") public String method01(String name, Integer age, Double mon) { User user = new User(); user.se ......
关于修改前端请求原生request加锁问题
1 正常情况后端获取前端的request请求：（原生已加锁，修改失效 校验） Map<String, String[]> parameterMap = req.getParameterMap(); ...... 报错：错误：java.lang.IllegalStateException: No mo ......
python-requests库文档学习
quickstart 英文文档：https://requests.readthedocs.io/en/latest/user/quickstart/ Passing Parameters In URLs在url中手动传递参数 payload = {'key1': 'value1', 'key2': ......
selenium 小技巧集合（三）
iframe切换 iframe，又叫浮动帧标记，是内嵌的网页元素，可以将一个html文件嵌入到另一个html文件中显示 对iframe进行操作，需要用到以下三种方法： switch_to_iframe() 切换到iframe上(未来会被删除，不建议使用) switch_to.frame() 切换到i ......
selenium 小技巧集合（四）
警告框处理 在WebDriver中处理JavaScript所生成的alert、confirm以及prompt十分简单，具体做法是使用 switch_to.alert 方法定位到 alert/confirm/prompt，然后使用text/accept/dismiss/ send_keys等方法进行操 ......
selenium 小技巧集合（二）
鼠标事件 selenium做自动化，常用到的模拟鼠标操作，比如单击、双击、点击鼠标右键、拖拽等等。而selenium给我们提供了一个类来处理这类事件——ActionChainsActionChains 类提供了鼠标操作的常用方法： perform()：执行操作 context_click()：右击； ......
自学Python爬虫笔记（day3）
环境python3.9版本及以上，开发工具pycharm 数据解析提供了4种解析方式：re解析、xpath解析、bs4解析、pyquery解析 首先初步入门学习了爬虫方面的正则表达式。 正则表达式（regular expression）是一种使用表达式的方式对字符串进行匹配的语法规则。使用正则表达式 ......
selenium 小技巧集合（一）
键盘事件 Keys()类提供了键盘上几乎所有按键的方法。前面了解到， send_keys()方法可以用来模拟键盘输入， 除此 之外， 我们还可以用它来输入键盘上的按键， 甚至是组合键， 如 Ctrl+A、 Ctrl+C 等 from selenium import webdriver# 引入 Key ......