爬虫 神器requests工具
minio客户端工具mc使用方式
官网： 英文网址（最好查看英文网址）：https://min.io/ 中文网址（没有及时更新，容易被坑）：http://www.minio.org.cn/ 使用的 minio 版本是：RELEASE.2021-11-* 一、MinIO 客户端工具安装 1、安装客户端 wget -P /usr/bin ......
如何利用代理IP优化网络爬虫
网络爬虫会自动扫描互联网，搜集大量数据并将它们组织起来。但是，许多网站都采取了反爬虫策略，限制了网络爬虫的活动。这时候，代理IP就起到了关键作用。代理IP可以让网络爬虫“变身”为不同的可以合法访问网站的用户，从而绕过网站的反爬虫机制，保护了网络爬虫的稳定运行。而且，使用代理IP还可以隐藏真实IP地址 ......
Linux系统里的抓包工具全解
有时也许想看一下某个网卡上都有哪些数据包，尤其是当你初步判定服务器上有流量攻击时，使用抓包工具来抓取数据包就可以知道有哪些IP在攻击了。 14.2.1 tcpdump工具具体用法如下： # tcpdump -nn -i ens33tcpdump: verbose output suppressed, ......
scrapy通用爬虫及反爬技巧
一、通用爬虫 通用爬虫一般有以下通用特性: 爬取大量(一般来说是无限)的网站而不是特定的一些网站。 不会将整个网站都爬取完毕，因为这十分不实际(或者说是不可能)完成的。相反，其会限制爬取的时间及数量。 在逻辑上十分简单(相较于具有很多提取规则的复杂的spider)，数据会在另外的阶段进行后处理(po ......
Java GenericObjectPool 对象池化技术--SpringBoot sftp 连接池工具类
SpringBoot sftp 连接池工具类 使用`GenericObjectPool`只需要创建一个对象工厂类，继承`BasePooledObjectFactory`并重写它的`create()`和`destroyObject()`。Apache Commons Pool是一个对象池的框架，他提供... ......
基于Odin的常见小工具ScriptableObjectCreator存在ToHashSet二义性时的解决方案
注：提供给对链式调用不熟悉的人的解决方案 网上随处可见的基于Odin的小工具ScriptableObjectCreator如果发生【以下方法或属性之间的调用具有二义性:“Sirenix.Utilities.LinqExtensions.ToHashSet<T>(System.Collections. ......
flask请求上下文分析，源码request原理，wtforms，精确导出依赖，函数和方法，threading.locl对象，偏函数，flask整个生命周期执行流程1.1.4版本
内容回顾 蓝图 第一步：导入 第二步：实例化得到对象，可以指定static和templates 第三步：app中注册蓝图，注册蓝图时，可以指定前缀 第四步：使用蓝图，注册路由，注册请求扩展 g对象 当次请求的全局对象，在当次请求中可以放值和取值 跟session的区别是session可以在多次请求中 ......
M3U8流视频数据爬虫
HLS技术介绍 现在大部分视频客户端都采用HTTP Live Streaming，而不是直接播放MP4等视频文件（HLS，Apple为了提高流播效率开发的技术）。HLS技术的特点是将流媒体切分为若干【TS片段】（比如几秒一段），然后通过一个【M3U8列表文件】将这些TS片段批量下载供客户端播放器实现 ......
OS-Linux-Tool-可视化比较与合并工具Meld
OS-Linux-Tool-可视化比较与合并工具Meld 在Linux系统上有时会需要进行文件比较与合并，Meld能提供相关功能。 http://meldmerge.org/ http://meldmerge.org/help/ Meld Visual diff and merge tool Mel ......
flask之request源码和第三方模块wtforms
请求上下文分析(源码：request原理) 1. 导出项目的依赖 以前导出项目的依赖：pip freeze >requirements.txt 把当前解释器环境下的所有第三方依赖都导出来。 flask导出依赖，借助于第三方模块pipreqs 第三发模块引用 1.安装 pip install pipr ......
Qt编写的CAN通信调试工具源代码支持吉阳光电CAN盒和致远周立功USB转CAN卡，带多线程接收 可完成标准和扩展CAN帧YID发送和接收
Qt编写的CAN通信调试工具源代码支持吉阳光电CAN盒和致远周立功USB转CAN卡，带多线程接收 可完成标准和扩展CAN帧YID发送和接收，带配置参数自动保存，定时发送，帧类型选择，文本和十六进制等。 带有折叠相同的帧YID的功能，如果有相同的帧YID，则会自动折叠显示。 可组装发送字节，short ......
在线商城爬虫 带爬取记录 以11TREET 为例
整体思路 第一步 抓取全部的列表页链接 第二步 抓取每个列表页的商品总数，页数 第三步 单个列表页 进行分业 抓取商品价格 第四步 单个列表页抓取完成后 输出商品数据并在本地文件记录本次抓取 最后一步 合并各个列页表抓取的商品数据 第一步 爬取的网站，获得分类信息 https://global.11 ......
python requests-html
#pip install requests-html ''' 目标网站： https://pic.netbian.com ''' from requests_html import HTMLSession import re,os import requests from tqdm import t ......
C++中的元编程常用工具
std::forward : 通常是用于完美转发的，它会将输入的参数原封不动地传递到下一个函数中，这个“原封不动”指的是，如果输入的参数是左值，那么传递给下一个函数的参数的也是左值；如果输入的参数是右值，那么传递给下一个函数的参数的也是右值。std::remove_reference_t : 是一个 ......
IOS热重载工具InjectionIII
IOS热重载工具InjectionIII 支持 OC、Swift 以及 Swift 和 OC 混编项目的 UI 热重载工具，采取在模拟器(真机不支持)注入方式实现 UI 热重载，修改完 UI 直接 cmd + s，不用重新编译运行就能看到 UI 效果。👉🏻 Github 👈🏻 安装 gith ......
Python+Requests+pytest+allure+yaml+DDT+logs 的自动化测试框架
下面是一套基于 Python+Requests+pytest+allure+yaml+DDT+logs 的自动化测试框架示例： Python 3.6 或更高版本 requests 库：用于发送 HTTP 请求和处理响应 pytest 测试框架：用于编写和运行测试用例 allure 测试报告工具：用于 ......
D3D12调试工具——pix
前言 本篇将介绍图形调试工具pix,使用该工具可以对图形管线进行debug。貌似VS不再支持D3D12的图形调试，笔者的VS无法捕获帧 环境搭建 配置用于 CPU 捕获的 PDB 生成完整的 PDB 设置符号路径 srvc:\symcachehttps://msdl.microsoft.com/ ......
1 请求上下文分析（源码：request原理）、2 wtforms（了解）
1 请求上下文分析（源码：request原理） 1.1 导出项目的依赖 # 之前 pip freeze >requirments.txt 把当前解释器环境下的所有第三方依赖都导出来 # 使用第三方模块，更精确的导出依赖 pipreqs 第一步：安装 pip3 install pipreqs 第二步： ......
最新版本 Stable Diffusion 开源 AI 绘画工具之使用篇
🎈 界面参数 在使用 Stable Diffusion 开源 AI 绘画之前，需要了解一下绘画的界面和一些参数的意义 目前 AI 绘画对中文提示词的效果不好，尽量使用英文提示词 最主要一些参数如下： Prompt： 正向提示词，也就是 tag，提示词越多，AI 绘图结果会更加精准 Negative ......
java后端接收Request请求参数方式
1.直接在Controller 方法参数上配置参数名 @RequestMapping("/method01") public String method01(String name, Integer age, Double mon) { User user = new User(); user.se ......
干掉复杂的工具类，国产Java工具类库 Hutool 很香！
Hutool 大家已经比较熟悉了，这是一个超全的 Java 工具库，深受国内开发者的喜爱。 我之前其实是不太喜欢使用这种功能太多的工具类的，也比较担心稳定性和安全性，后面慢慢接受了就感觉其实也还好。而且，我们还可以按需只引入自己需要的功能模块，相对也比较灵活。 Hutool 的官方文档介绍的已经比较 ......
关于修改前端请求原生request加锁问题
1 正常情况后端获取前端的request请求：（原生已加锁，修改失效 校验） Map<String, String[]> parameterMap = req.getParameterMap(); ...... 报错：错误：java.lang.IllegalStateException: No mo ......
拿ip 工具类
IpUtils: 完整代码; 点击查看代码 import org.apache.commons.lang3.StringUtils; import javax.servlet.http.HttpServletRequest; public class IpUtils { public static ......
雪花id生成工具类SnowflakeIdWorker
` public class SnowflakeIdWorker { /** * 开始时间截 (2015-01-01) / private final long twepoch = 1420041600000L; /* * 机器id所占的位数 / private final long workerI ......
HTTP JSON接口模拟工具interfake的使用(模拟接口返回json数据)
场景 在与第三方系统进行模拟对接时，需要本地根据接口文档的示例 json数据快速模拟出来接口进行调试用。 Interfake 官方github地址: https://github.com/basicallydan/interfake Interfake能简便地创建虚假的HTTP API，只需简单几行 ......
金额转换工具类 , 元转分, 分转元
元转分 (String int): 分转元 (Integer String): 分转元(Integer BigDecimal): 完整代码; 点击查看代码 import org.slf4j.Logger; import org.slf4j.LoggerFactory; import java.mat ......
python-requests库文档学习
quickstart 英文文档：https://requests.readthedocs.io/en/latest/user/quickstart/ Passing Parameters In URLs在url中手动传递参数 payload = {'key1': 'value1', 'key2': ......
mybatis-plus 分页 , 以及增删改查 工具类
自定义分页PageData: 代码： 点击查看代码 import lombok.Data; import java.io.Serializable; import java.util.List; @Data public class PageData<T> implements Serializab ......
map和bean转换工具类
bean转Map： Map转bean： 完整代码: 点击查看代码 import org.slf4j.Logger; import org.slf4j.LoggerFactory; import java.lang.reflect.Field; import java.lang.reflect.Mod ......