爬虫pytesseract requests selenium
Selenium自动化测试面试题
1、什么是自动化测试、自动化测试的优势是什么？
2、什么样的项目比较适合做自动化测试，什么样的不适合做自动化测试？
3、说一下开展自动化工作的主要流程是怎样的？
4、在制定自动化测试计划的时候一般要考虑哪些点？
5、编写自动化脚本时的一些规范？
6、你一般一天能编写多少个自动化脚本？
7、做自动化测... ......
selenium笔记之PC浏览器仿真移动端
本来写的UI走查的代码主要场景是web浏览器，少量h5页面校验不值得大费周章用真机去跑 背景： 首先尝试了移动端真机巡检，但是不同机型，需要调试出合适的appPackage以及其它参数 上一段代码： public AndroidDriver getWebDriverForAPP(){ Android ......
nacos报错：Nacos cluster is running with 1.X mode, can't accept gRPC request temporarily
nacos报错：Nacos cluster is running with 1.X mode, can't accept gRPC request temporarily nacos报错如下： Caused by: com.alibaba.nacos.api.exception.NacosExcep ......
MissingServletRequestParameterException: Required request parameter 'xxx' for method parameter type String is not present异常处理
关于简单参数传递的一个异常 先前情提要一下,在练习一个带分页的员工查询请求功能,接口文档描述如下 其中页码跟记录数是必须参数,然后有个按姓名模糊查询,这个参数是可有可无的 然后我最初写的代码长这样 用@RequestParam注解来获取这个url中携带的简单参数 然后测试页面的时候数据出不来,ide ......
Jsoup java android 爬虫 直接解析网页内容 记录
前一段时间遇到一个直接请求网页的需求，然后查了下真理出来分享给大家。 使用jsoup方法直接访问网页地址 //解析网页代码compile 'org.jsoup:jsoup:1.10.2'Document document = Jsoup.connect("http://。。。/info.html") ......
python爬虫——爬取壁纸网站
爬取壁纸网站和爬取其他的网站没有太大的区别。 这里爬取的是Wallhaven壁纸网站。Awesome Wallpapers - wallhaven.cc 步骤1 准备第三方库 import requests from bs4 import BeautifulSoup import os impor ......
c语言和python语言写爬虫哪个更好 ？
c语言和python语言写脚本那个更好？这取决于具体的应用场景和需求。 C语言是一种高效、灵活的编程语言，适合于底层系统开发、操作系统、嵌入式开发等领域。C语言可以直接操作内存，因此可以更好地控制程序的性能和资源利用。 Python语言则是一种高级编程语言，具有简洁、易读、易写等特点，适合于数据科学 ......
应用scrapy爬虫框架
Scrapy是一个基于Python的开源网络爬虫框架，它可以帮助我们快速、高效地抓取网页数据，并支持数据的自动化处理、存储和导出。Scrapy提供了丰富的扩展机制，可以轻松地实现各种自定义需求。 Scrapy的基本使用流程： 1、安装Scrapy框架 2、创建一个Scrapy爬虫项目 3、编写爬虫代 ......
最容易上手的爬虫项目
今天和大家分享一个爬取项目，那就是爬取自己博客的项目。 1、确定爬取的目标 开始之前我们需要确定一个爬取的目标，从我自己博客的首页进入。在这个例子里面我们要写一个爬虫将我的的文章列表拉出来，保存在一个JSON的文件里面。 2、“种子”的分析，生成爬虫入口 在谷歌浏览器中，打开开发者选项（F12），如 ......
How to use axios.js instead of request.js to get data as a buffer All In One
How to use axios.js instead of request.js to get data as a buffer All In One
如何使用 axios.js 代替 request.js 获取数据作为缓冲区 ......
python 使用selenium 不开启浏览器
selenium 不启动浏览器模式 打开浏览器再启动会浪费时间，对爬虫的性能也是个影响，还有一种就是不打开浏览器。 如下参数是针对chrome 的全局参数，不能自定义参数。 from selenium import webdriver # 还有一些其他的参数'''# 添加UAoptions.add_ ......
Python爬虫基础之三
Python爬虫基础包括HTTP协议、HTML、CSS和JavaScript语言基础、requests库的使用、Beautiful Soup库的使用、xpath和正则表达式的使用等。此外，还应该了解反爬虫机制和爬虫的一些常见问题及解决方法。 上一篇文章讲解了有关条件判断语句、循环语句、元组、字典等相 ......
Python爬虫基础之二
Python爬虫基础包括HTTP协议、HTML、CSS和JavaScript语言基础、requests库的使用、Beautiful Soup库的使用、xpath和正则表达式的使用等。此外，还应该了解反爬虫机制和爬虫的一些常见问题及解决方法。 上一篇文章讲解了有关条件判断语句、循环语句等相关知识，本节 ......
【故障公告】被放出的 Bing 爬虫，又被爬宕机的园子
这些巨头爬虫们现在怎么了？记忆中2022年之前的十几年，园子没有遇到过被巨头爬虫们爬宕机的情况，巨头们都懂得爱护，都懂得控制节奏，都懂得在爬网时控制并发连接数以免给目标网站造成过大压力。从去年开始，巨头爬虫们开始变了。首先从中文巨头爬虫中的佼佼者——百度蜘蛛开始 ......
Django之视图函数层 （必会三板斧 JsonResponse对象 request对象获取文件 FBV与CBV CBV源码剖析）
目录 视图层之必会三板斧 用来处理请求的视图函数都必须返回HttpResponse对象 **情况一：**啥也不返回 这里会报一个没有返回HttpResponse对象的错误，由此可见必须要返回一个HttpResponse对象 **情况二：**返回HttpResponse对象 点击Ctrl键查看源码可见 ......
Python Selenium搭建UI自动化测试框架
本文主要介绍了如何使用Python Selenium框架搭建UI自动化测试框架，并给出了一个完整的目录结构示例进行参考。通过UI自动化测试框架，可以帮助团队快速构建自动化测试框架，提高测试效率和测试质量。希望本文能对你有所帮助。 ......
selenium笔记之多窗口
在使用selenium中，会经常遇到，校验弹窗，或者是多标签之类的， 会发现在当前webdriver中.查找想检查的元素，比如弹窗上某个元素就查找不到了 那么就出现了一个句柄的概念 在Selenium中，可以使用`driver.window_handles`方法获取当前浏览器中所有窗口的句柄。 该方 ......
Django框架——路由分发、名称空间、虚拟环境、视图层三板斧、JsonResponse对象、request获取文件、FBV与CBV、CBV源码剖析、模版层
路由分发 # Django支持每个应用都可以有自己独立的路由层、静态文件、模版层。基于该特性多人开发项目就可以完全解耦合，之后利用路由分发还可以整合到一起 多个应用都有很多路由与视图函数的对应关系 这个时候可以拆分到各自的路由层中 使用路由分发之前 总路由直接是路由与视图函数的匹配 url(r'^i ......
Nginx 502 bad request | Docker | Node.js http-server
##场景 本地开发的 Vue 项目, 测试之后准备部署; 本地使用 http-server 正常运行; 服务器环境为: Docker 运行的 Nginx 和 Node.js 容器; 目标是将项目通过 Node.js 容器运行 Node.js 容器启动命令为 sudo docker run --nam ......
selenium笔记之如何驱动不同的浏览器
众所周知Selenium是使用WebDriver来控制浏览器进行各种操作的，并且支持多浏览器，那么如何获取各种浏览器的WebDriver，记录下我自己的尝试分享给大家，很简单注意：浏览器和对应浏览器驱动的版本是有限制的一、最最常用的google浏览器（是最推荐的，也是我最多用的）Chrome浏览器的 ......
Java报错：Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Request processing failed; nested exception is org.springframework.http.converter.
报错内容 Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Request processing failed; nested exception is org.spr ......
Python爬虫基础之一
Python爬虫基础包括HTTP协议、HTML、CSS和JavaScript语言基础、requests库的使用、Beautiful Soup库的使用、xpath和正则表达式的使用等。此外，还应该了解反爬虫机制和爬虫的一些常见问题及解决方法。 爬虫学习暂时咕咕了。。。，等有空再继续更新。 一、基础知识 ......
Linux正则过滤命令提取ip用来爬虫
Linux如何查看IP地址的命令，本人知道两种，分别是ifconfig和ip，至于具体用法，在这就不详细说了，我们的主要目标是用正则来过滤两者基本命令获取的内容以至于直接获得地址，但是我们还是必须了解两者获得的内容是不一样的。 首先，我们先来看看两者的基本命令输出的内容分别是什么。 命令ifconf ......
Django 静态文件 request对象方法 pycharm和Django连接MySQL Django模型层初步了解 基本的ORM操作
目录 静态文件 一、概念 静态文件：不经常变化的文件，主要针对html文件所使用到的各种资源。 例如：css文件、js文件、img文件、第三方框架文件 ps: Django针对静态文件资源需要单独在根目录创建一个static目录统一存放，该目录下的文件类型还有很多，例如：utils目录，plugin ......
关于爬虫中所用到的请求拦截器和响应拦截器
1、首先我们看一下，axios的发包 axios = require('axios') //导入axios包 //用axios发包，then回来的来处理服务器返回的数据（响应头）// then 是axios接收后台返回数据的 vue jquery// success 是的接收后台返回数据 ajax ......
drf之请求request与response
Request可解析编码格式 request可以解析三种由前端传入的编码格式：JSONParser,FormParser,MultiPartParser 当有需要，只接收用户传入的文件，而不接收其它数据的时候，就可以定制传入的格式 drf的配置文件中默认就指定的可接收的三种格式的配置，如下： DEF ......
请求处理类 yii\web\Request
$request = Yii::$app->request; // 请求对象 // $request->enableCsrfValidation = false; //取消CSRF验证 $resolve = $request->resolve(); // 请求拆分 $getHeaders = $re ......
Vue向服务端发送axios请求报错解决：AxiosError {message: 'Request failed with status code 403', ...}
Vue向服务端发送axios请求报错解决：AxiosError {message: 'Request failed with status code 403', ...} 登录界面点击提交向服务端发送用户名和密码，在Vue中用axios向服务端发送请求，一直显示403错误： 出现问题的前端请求代码如 ......
KEIL5--Error: L6915E: Library reports error: __use_no_semihosting was requested报错解决方法
__use_no_semihosting was requested：要求不使用半主机模式。 比较简单的一个解决方法就是点击“魔术棒” ，在Target标签下有个Use MicroLIB，勾选Use MicroLIB，再编译就不会报错了。 ”Use MicroLIB”，这是KEIL自带的一个简易的库 ......
爬虫利器：jsDOM
之前使用node做爬虫的时候，使用puppeteer来模拟浏览器，然后抓取信息，但是这样的效率和消耗太大了，所以需要一种更为效率的方法：直接使用axios来请求对应的url，然后通过jsDom,渲染成一个虚拟的html然后进行取值。 废话不多说直接上代码： 先安装jsdom npm i jsdom ......