爬虫 神器requests工具
指定url和深度的广度优先算法爬虫的python实现
广度优先算法介绍 整个的广度优先爬虫过程就是从一系列的种子节点开始，把这些网页中的"子节点"(也就是超链接)提取出来，放入队列中依次进行抓取。被处理过的链接需要放 入一张表(通常称为Visited表)中。每次新处理一个链接之前，需要查看这个链接是否已经存在于Visited表中。如果存在，证明链接已经 ......
scrapy爬取图片时遇到错误：ValueError: Missing scheme in request url: //scpic3.chinaz.net/Files/pic/pic9/202103
错误原因是在请求资源的时候没有使用完整的url只向//scpic3.chinaz.net/Files/pic/pic9/202103发送了资源请求，而完整的资源地址需要前面加上https:所以在pipelines.py文件的get_media_requests方法中，在发送request请求时修改为 ......
Qt封装Http请求工具类
一、概述 封装一个HttpUtils工具类，此列封装了Qt的Http请求。总共封装了两个方法Get和Post方法。 二、代码示例 1.工具类：HttpUtils.h/HttpUtils.cpp #pragma once #include <QObject> #include <QJsonObject ......
PyCharm配置代码格式化工具Black
一、pip安装black pip install black 注意：一般安装后，black.exe目录会在python安装路径的Scripts目录下。 默认为：C:\Users\xxxxx\AppData\Local\Programs\Python\Python311\Scripts\black.e ......
npm install安装依赖包时报错npm ERR! command C:\Windows\system32\cmd.exe /d /s /c node install.js，npm ERR! ChromeDriver installation failed Error with http(s) request: Error: read ECONNRESET
PS E:\20231213\uirecorder> PS E:\20231213\uirecorder> PS E:\20231213\uirecorder> PS E:\20231213\uirecorder> PS E:\20231213\uirecorder> npm install npm ......
idf.py命令行工具
idf.py命令行工具 参考:官网idf.py命令行工具文档 / 官网IDF监视器文档 创建新工程 idf.py create-project <project name> 选择目标芯片 idf.py set-target <target> idf.py set-target esp32s3 idf ......
Golang 多版本管理（g工具）
一、前言 由于某种原因，需要使用多种版本的 Golang，发现网络上一些发布时期较新的教程，却还是和早期的教程相似，故写一篇记录一下 Windows 如何小白式安装 g 工具，管理多版本 Golang。 二、下载 官方 github 下载地址： https://github.com/voidint/ ......
Dependency Walker 工具简介及使用
简介 官方概述： Dependency Walker is a free utility that scans any 32-bit or 64-bit Windows module (exe, dll, ocx, sys, etc.) and builds a hierarchical tree ......
推荐一款免费开源的网络监测工具InternetTest
Internet Test 是一种多合一的解决方案，适用于那些喜欢通过手动检查其可用性来密切关注其首选网站正常运行时间的人。当然，InternetTest 中也随带了定位 IP 以及地图显示定位等功能。InternetTest 是基于 MIT 许可证的免费开源软件。 当用户想要测试其网络连接速度时， ......
多开工具对手机数据安全的保护与加固
多开工具是一种非常方便的应用，在手机上可以同时运行多个同类型软件，如微信、QQ等。这个工具对于我们平时使用手机来说，确实非常便捷。但是，在享受这种便利的同时，我们也不得不担心手机数据的安全问题。 首先，多开工具的使用会对手机数据安全造成一定的风险。因为多开工具需要获取一些系统权限，如读取手机信息、存 ......
request content was evicted from inspector cache
request content was evicted from inspector cache 一、问题现象 在调用接口时，“响应”中提示：request content was evicted from inspector cache。 二、问题原因 当响应数据超出浏览器响应报文的最大量时，浏览 ......
413 Request Entity Too Large
413 Request Entity Too Large 一、背景介绍 在上传图片文件（图片大小 6MB 左右）的时候，接口预览页面报错“413 Request Entity Too Large”，文件上传失败。 二、解决方案 使用的是 Nginx 做的代理，从报错提示可以看出，请求实体过大，Ngi ......
PS 之修复工具
PS 之修复工具 模糊工具 模糊的菜单栏和画笔是相似的，可以对于目标区域进行模糊处理，营造层次感。 对所有图层取样只会作用在目标图层上，而不会影响其他图层，比如一个有背景的图层和一个空白图层，在空白图层上使用模糊工具，会高将模糊的效果作用显示到空白图层上，而不会影响背景图层。 锐化工具 锐化工具主要 ......
时间工具类之“LocalDateTime方案转换地域性时差问题->自定义时间 转 UTC时间
一、使用方法 1.这里有使用LocalDateTime，Date, 2.直接使用LocalDateTime来将输入时间转为UTC还是没有摸索到，看了下源码发现根据偏移量去处理的，但是没有测试成功所以换了一种方案 二、代码 测试方案 @Test public void wzwLocalDateTime ......
前端与爬虫
搜索爬虫, 我们会搜到一大堆 Python 相关的结果 问题: 爬虫和前端有关系吗? 爬虫是什么 爬虫程序是一种计算机程序，旨在通过执行自动化或重复性任务来模仿或替代人类的操作。 爬虫程序执行任务的速度和准确性比真实用户高得多。爬虫程序类型众多，可执行各种任务，并且爬虫程序在互联网流量中的比重也越来 ......
多开工具对手机硬件性能的测试与分析
多开工具对手机硬件性能的测试与分析 随着智能手机的功能日益丰富，用户对于多任务处理和应用同时运行的需求也越来越高。为了满足这一需求，许多手机用户使用多开工具来同时在手机上打开多个应用程序。然而，使用多开工具是否会对手机的硬件性能产生影响，成为了用户们关注的一个重要问题。本文将通过测试与分析，探讨多开 ......
10 款超强大性能测试工具，你用过哪几款呢？
这篇关于“性能测试工具”的文章将按以下顺序让您了解不同的软件测试工具： 什么是性能测试？ 为什么我们需要性能测试？ 性能测试的优势 性能测试的类型 十大性能测试工具 什么是性能测试？ 性能测试是一种软件测试，可确保应用程序在工作负载下运行良好。性能测试的目标不是发现错误，而是消除性能瓶颈，同时度量系 ......
Linux—yum/dnf工具
Linux yum/dnf工具 1、rpm的弊端 当用rpm安装软件时，若遇到有依赖关系的软件，必须先安装依赖的软件才能继续安装我们要安装的软件，当依赖关系很复杂的情况下，这种安装方式就很让人头疼，所以我们需要另一种安装方式来解决这个问题，今天我们要来学习的就是这样一个工具--yum 2、yum/d ......
【类库工具】 Assimp 支持三十几种模型格式的转换
Assimp.NET 发现一个导入导出解析的一个库，因为不懂C++，它有.net类库! 主要用于模型的导入和导出转换 github地址：https://github.com/StirlingLabs/Assimp.Net/tree/main ......
Autodesk Revit 2024：构建可持续未来的建筑设计工具
Autodesk Revit 2024是一款功能强大的建筑信息建模（BIM）软件，广泛应用于建筑、结构和设施设计领域。它通过3D模型来管理和优化建筑项目的设计、施工和运营过程，为设计师、工程师和承包商提供了一个协同工作的平台。 点击获取Autodesk Revit 2024 Revit 2024在B ......
一键式调试工具—Reqable 使用指南
简介 Reqable是一款跨平台的专业HTTP开发和调试工具，在全平台支持HTTP1、HTTP2和HTTP3(QUIC)协议，简单易用、功能强大、性能高效，助力程序开发和测试人员提高生产力！本产品需要一定的网络基础知识，适合开发、测试、网络、安全、爬虫等工程专业人员使用，或者在专业人员的指导下使用。 ......
Go 工具链详解（五）：竞态条件检测神器 Race Detector
Go 工具链详解（五）：竞态条件检测神器 Race Detector 原创 路多辛 路多辛 2023-12-13 21:49 发表于上海 听全文 并发编程可以提高程序的性能和稳定性，但也带来了一些挑战，如竞态条件。竞态条件是指并发程序中的多个线程同时访问共享资源，导致程序行为不确定的问题。为了避免竞 ......
poi导出工具类
前言 之前的一篇文章已经介绍了POI导入的工具类，然后有小伙伴私信我说能不能整理一个POI导出的工具类。现在它来了！！！ 如果有小伙伴不知道POI导入的工具类，可以看我上篇文章：POI导入工具类 现在我们言归正传，直接开始 工具类 POI导出工具类 public class DownLoadExce ......
01-认识爬虫
requests模块快速使用 #介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib(内置模块)，requests模块的api更加便捷（本质就是封装了urllib3） # 注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后 ......
02-爬虫的高阶使用
代理池的搭建 # 搭建步骤 -1、git clone git@github.com:jhao104/proxy_pool.git -2、在pycharm中打开项目 -3、创建虚拟环境，并且安装依赖 pip install -r requirements.txt -4、修改配置文件：DB_CONN = ......
腾讯数据集成工具报告
标题 测试报告 背景目标 大航海databus任务在合并阶段费资源，且大表执行时间较长，期望缩短同步时间可以10分钟抽10亿条数据。数据同步需要先建表，再建任务，配置不方便。 结论 在满足配置时可以达到期望速度，配置如下 所需环境信息 mysql CPU:16核 内存:32G IOPS:32000 ......
[node]npx工具
npx是npm5.2之后自带的一个命令。 npx的作用非常多，但是比较常见的是使用它来调用项目中的某个模块的指令。 以webpack为例： 全局安装的是webpack5.1.3项目安装的是webpack3.6.0 如果我在终端执行 webpack --version使用的是哪一个命令呢？ 显示结果会 ......
scrum管理工具大全汇总
Leangoo领歌 Leangoo领歌一款永久免费的敏捷研发管理工具。提供私有部署。 Leangoo领歌覆盖了敏捷研发全流程，它提供端到端敏捷研发管理解决方案，包括小型团队敏捷开发，规模化敏捷SAFe，Scrum of Scrums大规模敏捷，涵盖敏捷需求管理、任务协同、进展跟踪、缺陷管理、统 ......
同步工具-调研对比
一、同步工具简介 1、腾讯数据集成产品：数据集成（DataInLong）源于腾讯开源并孵化成功的 ASF 顶级项目 Apache InLong（应龙），支持一站式跨云跨网数据同步 产品文档：https://cloud.tencent.com/document/product/1580/73382 2 ......
同步工具-SeaTunnel使用
一、介绍 SeaTunnel 是一个非常好用、超高性能的分布式数据集成平台，架构于 Apache Spark 和 Apache Flink 之上，实现了海量数据的实时同步与转换。每天可以稳定高效地同步数百亿数据，目前已接近百家公司在生产上使用 依赖环境：Spark3.2.1、FLink 运行服务器： ......