爬虫pytesseract requests selenium
unable to find valid certification path to requested target
javax.net.ssl.SSLHandshakeException: sun.security.validator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPathB ......
Python中的爬虫应用及常用Python库
Python的爬虫应用非常广泛，以下是一些典型的示例： 数据采集：使用爬虫可以从网页上抓取数据，并将其保存到本地或数据库中。这对于构建大规模数据集、进行市场调研、舆情监测等任务非常有用。 搜索引擎索引：搜索引擎需要通过网络爬虫来收集和更新互联网上的信息，以便为用户提供准确且实时的搜索结果。 价格比较 ......
微信小程序TypeScript请求封装(TS+request)
目录结构 - WxApp - api 请求方式 - index.ts 统一输出api接口 - base.ts 环境判断 - user 对应数据请求 - userApi.ts - utils - request.ts 封装请求 封装request 首先，我们先搞wx.request先，这个搞完，其它都 ......
chromedriver 爬虫组件更新，114版本以上
1.解决问题 由于Google浏览器chrome自动更新导致python爬虫脚本无法启动，且浏览器版本大于114。 2.报错如下 selenium.common.exceptions.SessionNotCreatedException: Message: session not created: ......
502 Bad Gateway Registered endpoint failed to handle the request
502 Bad Gateway: Registered endpoint failed to handle the request. 502 Bad Gateway错误是一种常见的HTTP错误，通常表示代理服务器在尝试访问上游服务器时遇到了问题，因此无法返回请求的内容。这个错误消息表明，代理服务器无 ......
node连接mysql时报错Client does not support authentication protocol requested by server; consider upgrading MySQL client
尝试用node编写一个简单的登录接口，结果启动服务后请求接口出现了该错误。 其问题就是访问的工具身份验证协议过于落后，在node内安装的2.18.1 mysql包。 解决： 先登录数据库。 use mysql;（mysql为数据库名） 提示Database changed; 查询表中信息 ; sel ......
Fiddler not intercepting PowerShell web requests
Fiddler not intercepting PowerShell web requests Fiddler actually works via a proxy, and automatically sets proxy settings in IE when running. You can ......
gin-vue-admin 接口错误Error: Request failed with status code 500
本地运行以后登录出现： 控制台检查发现是请求getMenu出现500错误，并且后端出现"Error 1071 (42000): Specified key was too long; max key length is 1000 bytes"错误，那就是数据库casbin_rule的表引擎不是Inn ......
免费的fast request，还能一键生成文档的idea插件
01.UI焕新升级 新版本对之前“简陋”的UI界面做了升级，好看又好用～没有对比就没有伤害，如 02.发送记录查看 点击左下角发送界面按钮，可查看接口的发送记录和发送 03.新增保存、查看保存记录 调试接口时某些接口返回数据需要记录，本次更新新增保存功能，发送请求后点击保存可保存该次的发送详情和返回 ......
nodejs "Client does not support authentication protocol requested by server; consider upgrading MySQL client"
登录mysql输入以下命令： -- 选择mysql数据库：use mysql-- laremehpe是登录用户名ALTER USER 'laremehpe'@'localhost' IDENTIFIED BY 'password' PASSWORD EXPIRE NEVER;-- laremehpe ......
JavaWeb--Request通用方式请求参数
package com.avb.web; import javax.servlet.*; import javax.servlet.annotation.WebServlet; import javax.servlet.http.HttpServlet; import javax.servlet.h ......
CF570D Tree Requests
题意 给定一棵根为 \(1\) 的有根树，以及字符串 \(S\)。 \(x, h\) 求 \(x\) 的子树内，深度为 \(h\) 的节点的字符能否重排为一个回文串。 Sol 不难发现，回文串显然至多有一个字符出现奇数个。 所以我们对于每种字符随机附权值，维护前缀异或值。 查询时枚举 \(26\) ......
碾压Fast Request！IDEA插件推荐：Apipost-Helper
IDEA是一款功能强大的集成开发环境（IDE），它可以帮助开发人员更加高效地编写、调试和部署软件应用程序。我们在编写完接口代码后需要进行接口调试等操作，一般需要打开额外的调试工具，而今天给大家介绍一款IDEA插件：Apipost-Helper-2.0。代码写完直接编辑器内调试、还支持生成接口文档、接 ......
Selenium 3.0 + Python自动化测试框架
文档说明 Selenium是一个用于Web应用程序自动化测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。 Selenium测试的主要功能包括： 测试与浏览器的兼容性：测试应用程序是否能很好的工作在不同的浏览器和操作系统之上。 测试系统功能：创建回归测试，检验软件功能和用 ......
记一次爬虫实战
记一次爬虫实战 记一次爬虫实战，以爬取我最近在看的小说《不可名状的日记簿》为例。 先找到一个合适的网站https://www.qbtxt.co/93_93964/。 用的是https协议，socket什么的太麻烦了，直接用python的requests库。 写一个封装好的python程序，作用是爬取 ......
猫眼电影爬虫
步骤首先利用pip指令安装所需要的soup以及request库（pip下载速度慢可使用pip镜像，更改下载路径到国内网站）然后对猫眼电影网站进行分析，利用request进行信息的获取，利用soup库进行信息查找和整理。最后进行输出，写入txt文件中代码的实现如下import requestsfrom ......
request.getPath()和获取ip地址、端口号
project为项目名，访问路径如下： http://localhost:8088/project/uploadFile /project request.getContextPath() /uploadFile request.getServletPath() /project/uploadFil ......
实验八. urllib模块、requests模块+BeautifulSoup模块使用、Feapder框架
一、实验目标： 熟悉模块的的用法，练习编写爬虫 二、实验要求： 编写代码，完成功能 三、实验内容： (1)使用urllib模块或request模块读取网页内容，并利用BeautifulSoup模块进行内容解析，编写爬虫从http://www.cae.cn/cae/html/main/col48/co ......
【Azure APIM】APIM Self-Hosted网关中，添加网关日志以记录请求头信息(Request Header / Response Header)
问题描述 在APIM Gateway 日志中， 对于发送到APIM Host的请求，只记录了一些常规的URL, Status, Time, IP等信息。关于请求Header， Body中的信息，因为隐私保护的原因，默认没有记录。 [Info] 2023-11-16T06:19:28.482 [Gat ......
吊打Fast Request还免费？ 这款插件真心好用！
今天给大家推荐一款IDEA插件：Apipost Helper，比Fast Request更好用并且完全免费！三大亮点功能：写完代码IDEA内一键生成API文档；写完代码IDEA内一键调试，；生成API目录树，双击即可快速定位API定义的代码… 下面给大家介绍一下Apipost Helper的安装和使 ......
爬虫-Scrapy框架(一)-工具
Scrapy框架 一、前言 1、介绍 前面我们学习了基础的爬虫实现方法和selenium以及数据库，那么接下来会我们学习一个上场率非常高的爬虫框架：scrapy 2、内容 scrapy的基础概念和工作流程 scrapy入门使用 二、scrapy的概念和流程 学习目标： 了解 scrapy的概念 掌握 ......
scrapy解析数据、配置文件、整站爬取cnblogs=》爬取详情=》数据传递、持久化、爬虫中间件和下载中间件、scrapy继承selenium、源码去重规则（布隆过滤器）、分布式爬虫
scrapy解析数据 ##### 运行爬虫 scrapy crawl cnblogs ##### 可以项目目录下写个main.py from scrapy.cmdline import execute execute(['scrapy','crawl','cnblogs','--nolog']) # ......
selenium实现UI自动化
selenium实现UI自动化 Selenium是一个用于自动化Web浏览器操作的开源工具，广泛用于测试Web应用程序、执行自动化任务和进行Web数据抓取。以下是Selenium的一些基础知识： Selenium组件： Selenium WebDriver：用于模拟用户与Web页面的交互，支持多种浏 ......
k8s中是如何计算pod的计算资源（cpu和内存）的requests和limits值的？
1、结论 对于pod来说，cpu和内存的requests和limits的值，等于pod中所有容器的requests和limits的值的总和。 具体来说： pod的requests的大小，等于所有的容器的requests的大小的和，如果某个容器没有设置requests，则这个值是0. pod的limi ......
The request is not allowed by the user agent or the platform in the current context, possibly because the user denied permission，iphone手机video标签报错
The request is not allowed by the user agent or the platform in the current context, possibly because the user denied permission，在当前上下文中，用户代理或平台不允许该请求 ......
selenium报错result.webdriverValue.value
1. 示例代码 from selenium import webdriver driver = webdriver.Chrome() driver.get('http://124.223.30.31:xxx/forum.php') driver.find_element('id','ls_usern ......
Python selenium Chrome正在受到自动软件的控制 disable-infobars无效 的解决方法
问题解决 前两天更新了google浏览器版本，今天运行以前的脚本，发现options一个参数的配置不生效了。 运行了几次都发现该参数没有生效，也检查了自己的代码参数，没有写错，于是就有了这一波“网中寻求答案”的操作。 苦寻不易，还真就找到了答案，详细可参见该地址的答案：https://help.ap ......
fastify-request-context fastify request 级别的存储支持扩展
fastify-request-context 是一个fastify插件基于nodejs 的async hooks 的处理，比较方便，尤其我们是需要进行基于request 进行一些扩展的时候 实际上不少框架都类似类似的能力（比如java web 框架的httpServletSession, spar ......