爬虫 神器requests工具
requests---jsonpath在接口自动化中的应用
前言 我们在做接口测试时，大多数返回的都是json属性，我们需要通过接口返回的json提取出来对应的值，然后进行做断言或者提取想要的值供下一个接口进行使用，但是如果返回的json数据嵌套了很多层，通过查找需要的词，就很麻烦不方面，小编今天介绍一种python的第3方库jsonpath jsonpat ......
python爬虫练习-爬取豆瓣电影top250
一、设计方案 爬取的内容：豆瓣电影的榜单数字、名称、评星、评分、评论数量 方案实现思路：使用requests爬取网页，然后实现数据解析，借助pandas将数据写出到Excel 二、主题页面的结构特征分析 1.打开开发者工具，查找我所需的内容，以及它所在的标签；在 div class="item" 中 ......
Python3网络爬虫实战之爬虫框
ScrapySplash的安装 ScrapySplash 是一个 Scrapy 中支持 JavaScript 渲染的工具，本节来介绍一下它的安装方式。 ScrapySplash 的安装分为两部分，一个是是 Splash 服务的安装，安装方式是通过 Docker，安装之后会启动一个 Splash 服务 ......
第8章 使用标记帮助工具构建表单（ASP.NET Core in Action, 2nd Edition）
本章包括 使用Tag Helpers轻松构建表单 使用锚标记帮助程序生成URL 使用Tag Helpers为Razor添加功能 在第7章中，您了解了Razor模板以及如何使用它们为应用程序生成视图。通过混合HTML和C#，您可以创建动态应用程序，根据请求、登录用户或您可以访问的任何其他数据显示不同的 ......
推荐6款大厂都在用的项目管理工具，果断收藏！
项目管理软件是信息化办公时代企业进行内部合作、项目管理的重要工具，企业可以利用项目管理软件进行项目管理，就可以做到项目进程一目了然、事项分派清清楚楚、项目资料分门别类、远程沟通高效无碍，避免出现因为沟通不及时而出现项目进度落后。我盘点了以下六款好用的项目管理软件，大家可以根据自己团队的实际需求去选择 ......
远程抄表必备神器，DTU让数据传输更快更准
相信很多人小时候都会遇到水电局的工作人员前往家中抄水电表的情况，当时水电表都是安装在自己家里的，而通信技术不像现在这么发达，人工抄表统计也是最基本的方法之一。虽然这种方式简单，但有时候也会有意想不到的效果。比如在刑侦抓捕场景中，都会使用现在还在被广大网民用于调侃的一句话：“开门，查水表”！ 但是随着 ......
Vulnhub之Loly靶机详细测试过程（不同提权方法，利用metasploit工具）
Loly 识别目标主机IP地址 ─(kali㉿kali)-[~/Desktop/Vulnhub/Loly] └─$ sudo netdiscover -i eth1 -r 192.168.56.0/24 Currently scanning: 192.168.56.0/24 | Screen Vie ......
go 版本管理工具 gvm
下载地址 安装包下载地址（随便选一个能访问的下载，区别在于命令行中使用gvm，还是g） win 平台 1.gitee上的gvm：gvm 发行版 - Gitee.com 2.github上的g：Releases · voidint/g · GitHub 上面这个是同一个作者 mac 平台 https: ......
智能爬虫框架
爬虫应用的广泛，例如搜索引擎、采集数据、广告过滤、数据分析等。当我们对少数网站内容进行爬取时写多个爬虫还是有可能的，但是对于需要爬取多个网站内容的项目来说是不可能编写多个爬虫的，这个时候我们就需要智能爬虫。 智能爬虫目前有三种： 基于网页内容的爬虫 当网页含有大量需要提取的信息时，我们就需要用到基于 ......
关于Python爬虫的一些总结
作为一名资深的爬虫工程师来说，把别人公开的一些合法数据通过爬虫手段实现汇总收集是一件很有成就的事情，其实这只是一种技术。 初始爬虫 问题： 什么是爬虫？ 网络爬虫是一种按照一定的规则，自动地抓取网络信息的程序或者脚本。 爬虫有什么用？ ① 网络数据采集 ② 大数据分析 ③ 网页分析 什么工作原理？ ......
一个灵活的 nodejs 爬虫库 —— x-crawl
x-crawl x-crawl 是一个灵活的 nodejs 爬虫库。可批量爬取页面、批量网络请求、批量下载文件资源、轮询爬取等。用法灵活和简单，对 JS/TS 开发者友好。 如果你喜欢 x-crawl ，可以给 x-crawl 存储库 点个 Star 支持一下，不仅是对它的认可，同时也是对开发者的认 ......
开源项目audioFlux: 针对音频领域的深度学习工具库
(目录) audioFlux是一个Python和C实现的库，提供音频领域系统、全面、多维度的特征提取与组合，结合各种深度学习网络模型，进行音频领域的业务研发，下面从时频变换、频谱重排、倒谱系数、解卷积、谱特征、音乐信息检索六个方面简单阐述其相关功能。 项目地址: https://github.com ......
JSP内置对象Request的使用方法
JSP request 是 javax.servlet.http.HttpServletRequest 的实例对象，主要用来获取客户端提交的数据。request 对象提供了一系列方法，可以获取请求参数信息、表单数据、HTTP 头信息、cookie 和 HTTP 请求方法等。Request对象最长见的 ......
jmeter压测工具下载
jmeter官网： https://jmeter.apache.org/download_jmeter.cgi 下载： 解压之后（我本地的）目录： /Applications/apache-jmeter-5.5 Mac电脑，启动 Jemeter命令步骤 : cd /Applications/apac ......
USB抓包工具---USBTrace
官网为http://www.sysnucleus.com/index.html。界面上来说也算可以，但是抓取的报文个人看着不是很舒服，同时具备了 USB 协议分析功能，但是分析的看着不爽。安装后需要重启计算机才可用！这是一个收费工具，目前不怎么更新了，最新版为 3.0.1。网上也有其最新的破解版，但 ......
python网络爬虫
一、爬虫的基本思路 打开网页：requests / urllib 找到需要的信息：标签 / xpath / jsonpath / ... 获取和存储信息：json文档 二、网页的分类 1. 静态网页 源代码中包含需要的信息 国务院办公厅关于印发"十四五"国民健康规划的通知 爬取方式：直接从源代码中提 ......
【Dotnet 工具箱】探索 LiveCharts2：一款强大的跨平台图表库
你好，这里是 Dotnet 工具箱，定期分享 Dotnet 有趣，实用的工具和组件，希望对您有用！ LiveCharts2 LiveCharts2 是一个简单、灵活、交互式以及功能强大的跨平台图表库。 LiveCharts2 现在几乎可以在任何地方运行，包括 Maui、Uno Platform、Bl ......
python requests的超时和重试
from requests.adapters import HTTPAdapter from requests import Session import requests session = Session() # request 重试配置 重试一次 # 如果发生读取异常，则请求时间为 (重试次数 ......
让代码变得优雅简洁的神器：Java8 Stream流式编程
原创/朱季谦 本文主要基于实际项目常用的Stream Api流式处理总结。 因笔者主要从事风控反欺诈相关工作，故而此文使用比较熟悉的三要素之一的**【手机号】黑名单**作代码案例说明。 我在项目当中，很早就开始使用Java 8的流特性进行开发了，但是一直都没有针对这块进行开发总结。这次就对这一块代码 ......
PayloadTooLargeError: request entity too large错误解决
这个错误通常是由于你正在尝试上传大于服务器最大允许大小的文件或数据导致的。这通常可以通过在服务器端进行一些配置更改来解决。 如果您使用的是Node.js，您可以使用body-parser中间件来增加请求体的限制。例如，以下代码将允许请求体的最大大小为10MB： var bodyParser = re ......
工具推荐-sourcetree
工具推荐-sourcetree 简介 简单好用的win系统下的git可视化软件 支持ssh免密登录 一键暂存和上传到开源仓库 开源免费 安装 下载sourcetree sourcetree下载 下载git git下载 sourcetree安装 直接一路next，版本控制自动识别为git ssh免密登 ......
Windows 下最好的便携式包管理工具 - Scoop
title: Windows 下最好的便携式包管理工具 - Scoop date: 2022-02-07 12:51:14 tags: [Windows, package manager, Scoop, PowerShell] description: 绿色便携软件爱好者的福音 - Scoop，在 ......
Git 工具 - 子模块: submodule与subtree的使用
git日常使用中，基本都是一个项目一个Git仓库的形式，那么当我们的代码中碰到了业务级别的需要复用的代码，我们一般怎么做呢? 比如：某个工作中的项目需要包含并使用另一个项目。 也许是第三方库，或者你独立开发的，用于多个父项目的库。 所以需要提取一个公共的类库提供给多个项目使用，但是这个library ......
java并发编程(2)：Java多线程-java.util.concurrent高级工具
伴随着多核CPU的出现，也就意味着不同的线程能被不同的 CPU 核得到真正意义的并行执行。Java 是最先支持多线程的开发的语言之一，Java1 5提供了一个非常高效实用的多线程包:java util concurrent ......
Docker 安装可视化管理工具Portainer
简介Portainer是Docker 的图形化管理工具，提供状态显示面板、应用模板快速部署、容器镜像网络数据卷的基本操作（包括上传下载镜像，创建容器等操作）、事件日志显示、容器控制台操作、Swarm集群和服务等集中管理和操作、登录用户管理和控制等功能。 官网：https://www.portaine ......
JUC并发常用工具学习
今天主要来和大家分享一下JUC相关的一些简单知识，线程池文章就不介绍了，前面的文章有介绍，本文主要介绍Lock和认识synchronized和并发的一些工具类的使用。 Lock 传统的锁有synchronized关键字，我们可以直接在方法和代码块中使用它。 在Java中有ReentrantLock、 ......
PMD插件：你必须掌握的代码质量工具！
当今的软件开发需要使用许多不同的工具和技术来确保代码质量和稳定性。PMD是一个流行的静态代码分析工具，可以帮助开发者在编译代码之前发现潜在的问题。在本文中，我们将讨论如何在Gradle中使用PMD，并介绍一些最佳实践。 什么是PMD？ PMD是一个用于Java代码的静态代码分析工具。它可以帮助开发者 ......
python3中Requests将verify设置为False后,取消警告的方式
import requests resp = requests.get('https://www.***.com', verify=False)调用成功但是会有如下警告信息： InsecureRequestWarning: Unverified HTTPS request is being made ......
性能测量工具-DevTools/PageSpeed/LightHouse
前端的性能优化有诸多有迹可循的理论和方法，比如 Yahoo！性能军规（Best Practices for Speeding Up Your Web Site）、Google Pa ......