爬虫requests aiohttp httpx
安装npm install报错npm ERR! code ETIMEDOUT npm ERR! errno ETIMEDOUT npm ERR! network request to https://registry.npmjs.org/webpack-subresource-integrity failed, reason
执行命令：npm run dev 启动前端项目报如下错误，vue-cli-service是Vue一个启动的插件，需要安装 D:\nodejs\npm.cmd run dev > yuntan1hao@2.0.0 dev > vue-cli-service serve --open 'vue-cli- ......
vscode错误：Unable to connect to VS Code server: Error in request.
这种错误常见于vscode自动连上了之前失效的socket，解决方案就是，关闭vscode，然后用ssh进入服务器，kill掉所有的vscode进程 ps -fu $USER | grep vscode | grep -v grep | awk '{print $2}' | xargs kill 然 ......
Python逆向爬虫入门教程: 酷狗音乐加密参数signature逆向解析
数据来源分析💥 网站链接: aHR0cHM6Ly93d3cua3Vnb3UuY29tLw== 歌曲下载 signature 💥 正常抓包分析找到音频链接地址 通过链接搜索找到对应的数据包位置 分析 signature 参数加密位置 通过 s 列表 合并成字符串, 传入d函数中进行加密, 返回32 ......
Python中出现"No module named 'requests'"的图文解决办法
第一步 找到pycharm中的虚拟环境的位置 第二步 打开虚拟环境位置的文件夹 找到Scripts的这个文件夹 然后复制该文件夹的地址 第三步 打开“运行”（可以用快捷键WIN+R键打开） 然后输入 cmd 第四步 切换目录到虚拟环境的盘符 输入“D：”（我的虚拟环境在D盘所以切换到D盘） 第五步 ......
【转载】淘宝爬虫sign、token详解
【转载】淘宝爬虫sign、token详解 淘宝对于h5的访问采用了和客户端不同的方式，由于在h5的js代码中保存appsercret具有较高的风险，mtop采用了随机分配令牌的方式，为每个访问端分配一个token，保存在用户的cookie中，通过cookie带回服务端分配的token, 客户端利用分 ......
爬虫常见的反爬手段
反爬 1. User-Agent 2. IP代理 快代理 3. 验证码访问 1.输入验证码 Pytesseract 百度OCR接口 深度学习 超级鹰等平台 2.滑块 Opencv解决问题： 读取图片 高斯模糊处理 canny边缘检测 轮廓检测 获取位置 Links:https://zhuanlan. ......
scp 出现 subsystem request failed on channel 0 scp: Connection closed 的解决方法
. . . . . 先说结论，给 scp 命令添加一个 -O （大写字母O，不是数字0）参数就可以了。 开启故事模式 最近在使用 Gerrit 下载代码的时候，发现出现这样的错误： >$ git clone "ssh://user@10.10.10.13:29418/project/manifest ......
pytest 内置fixture-request
前言 pytest内置fixture是框架自带的一些fixtures，我们可以直接在用例中使用。参考官方文档：https://docs.pytest.org/en/7.3.x/reference/reference.html 进入到官方文档，我们可以看到有许多内置fixtures，其中最重要的一个内 ......
解决前后端的跨域问题：Access to XMLHttpRequest at '**' from origin '**' has been blocked by CORS policy: No 'Access-Control-Allow-Origin' header is present on the requested resource.
报错信息： Access to XMLHttpRequest at 'http://localhost:8182/cooperationRequest/getList' from origin 'http://localhost:3004' has been blocked by CORS poli ......
GitHub Pull request 同步解决代码冲突
参考： https://zhuanlan.zhihu.com/p/337949346 git remote -vgit remote add upstream git@gitee.com:src-anolis-os/bpftrace.gitgit remote -vgit fetch upstrea ......
No 'Access-Control-Allow-Origin' header is present on the requested resource'， 跨域访问的解决方法
https://blog.csdn.net/dear_little_bear/article/details/83999391 1. 当请求不在同一域名下的资源文件（ip地址+端口号）时，会报如下错误：“No ‘Access-Control-Allow-Origin’ header is prese ......
微信小程序创建formdata对象，并通过 wx.request 发送file文件
本文申明：仅作学习使用 需求： 需要绕过wx.uploadFile进行图片的传输，通过接口给服务器 问题： 因涉及到域名安全问题，不能使用 wx.uploadFile。 微信本身没有FormData对象，无法使用 new FormData 后端接口需要接收一个file, 所以只能想办法，通过wx.r ......
爬虫之短信验证码
处理短信验证码的思路就是手机端有一个可以转发短信到我们可以读取的地方。目前我的处理方式是将短信转发到邮箱，再读取邮箱中的邮件拿取验证码。 首先就需要下载转发工具：https://github.com/pppscn/SmsForwarder/releases/tag/v3.2.0 具体使用参考 ......
scrapy -- 暂停爬虫、恢复爬虫
1、启动爬虫 scrapy crawl spider -s JOBDIR=record/spider-1 record/spider-1表示一个路径，作用是记录爬虫状态2、暂停爬虫 终端输入Ctrl+C，此时爬虫并不会立即停止，需要等待一会 当终端出现可以敲击命令时，说明爬虫已暂停 3、恢复爬虫 s ......
python爬虫示例-2
import time import os import requests as re from tqdm import tqdm from bs4 import BeautifulSoup download_src = "https://m.tuiimg.com/" #网站url now_file ......
python爬虫示例-1
1 import os 2 from bs4 import BeautifulSoup 3 import requests as re 4 import time 5 6 download_url_1= "https://umei.net/i/" 7 # print(download_url[:-5 ......
Scrapy爬虫学习
目录Scrapy基本功能Scrapy Shell用法XPATH语法及用法null Scrapy基本功能 Scrapy Shell用法 XPATH语法及用法 参考资料： 基础入门：https://zhuanlan.zhihu.com/p/35355747 https://www.w3school.co ......
爬虫实战 - 微博评论数据可视化
简介： 我们都知道在数据比较少的情况下，我们是可以很轻易的获取到数据中的信息。但是当数据比较庞大的时候呢，我们就很难看出来了。尤其是面对现如今数以万计的数据，就更了。 不过好在我们可以通过计算机来帮我们进行分析，其中比较高效的手段便是数据可视化了。通过将数据进行可视化，我们可以让数据开口说话。进而有 ......
requests库实现接口测试
requests库安装 pip install requests requests库查验 pip show requests/pip list cookie+session认证方式 例子：获取验证码+商城登录+订单查询（涉及到cookie） # 方法一：从获取验证码请求中提取cookie，然后携带到 ......
Dynamics 365 导入Excel报错：Server was unable to process request.
Dynamics 365 导入Excel报错：Server was unable to process request. F12查看调用，发现是调用GetImportMapXml报错，于是到高级设置-数据管理-导入去试试，提示字段Industry未找到，后来找一下字段Industry，居然又3个，一 ......
源码学习 出现彻底解决unable to find valid certification path to requested target
说明：很久前spring 5.1X源码搭建成功，近阶段看源码发现更新类库出现 “：unable to find valid certification path to requested target 原因是：源码更新的是官网类库，官网需要国外我网站不能实时访问很慢，所以映射需要执行ali 服务器， ......
如何在GitHub正确提PR(Pull Requests),给喜欢的开源项目贡献代码
最好的中文TTS项目Bert-vits2更新了中文特化分支，但可能由于时间仓促，代码中存在不少的bug，作为普通用户，有的时候也想为自己喜欢的开源项目做一点点贡献，帮助作者修改一些简单的bug，那么该如何开始？ 本次我们以Bert-vits2项目为例子，分享正确提交PR(Pull Requests) ......
爬虫
（２）请用requests库的get()函数访问必应主页２０次，打印返回状态，text()内容，计算text()属性和content属性所返回网页内容的长度 import requests for i in range(20): r = requests.get("https://cn.bing.c ......
还在用Python爬虫？教你一招，摆脱选择元素位置的烦恼！使用Node.js大杀器，并且无需使用cheerio 库~
咱们以豆瓣历史250最佳电影为例。 豆瓣说，>_< 你不要过来啊！ 第一步：打开网页源代码 第二步：选择你想要爬虫的元素，右键复制获取JS路径 document.querySelector("#content > div > div.article > ol > li:nth-child(3) > ......
Python爬虫01
Python爬虫 01 爬虫是一种自动化的数据收集系统中的一种，写网络爬虫的目的在于高效、快速的收集网络上自己所需要的数据或者基于爬虫技术编写网站自动测试脚本。 学习爬虫需要的前置技术：html、JavaScript、http协议、一门编程语言。 为什么需要htnml、JavaScript、http ......
09--requests-02
三 requests请求库--02 1 处理cookie相关的请求 学习目标：掌握requests处理cookie的三种方法 1.1 爬虫中使用cookie 为了能够通过爬虫获取到登录后的页面，或者是解决通过cookie的反扒，需要使用request来处理cookie相关的请求 1.1.1 使用co ......
Python+Requests+PyTest+Excel+Allure 接口自动化测试实战
本文主要介绍了Python+Requess+PyTest+Excel+Allure 接口自动化测试实战，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧 Unittest是Python标准库中自带的单元测试框架，Unittest有时 ......
requests库和requests模块使用详解
一、requests简介 #简介：使用requests可以模拟浏览器的请求，比起之前用的urllib，requests模块的api更加便捷（本质就是封装了urllib3） #注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后发起新的reques ......