爬虫 神器requests工具
爬虫进阶之多线程爬虫问题详解
大多数正常人在下载图片的时候都是一个一个点击保存，图片越多花费的时间越多，大大的降低了工作效率。如果是学了爬虫的，一定会想到多线程来自动下载保存图片。 多线程介绍： 多线程是为了同步完成多项任务，通过提高资源使用效率来提高系统的效率。线程是在同一时间需要完成多项任务的时候实现的。 将多线程这种比喻成 ......
JavaSE——可变参数&集合工具类
package com.zhao.collectionunti; import java.util.ArrayList; import java.util.Collections; public class CollectionsDemo1 { public static void main(Str ......
Downie 4 4.6.11 MAC上最新最好用的一款视频下载工具 亲测有效
## Downie for Mac 简介 Downie for Mac是是一款Mac OS平台上最好用的Mac视频下载工具，支持1000多个不同的视频网站，支持国内几乎所有流行的视频播放平台以及国外的Youtube等在线视频网站视频下载，功能强大使用简单。 ## Downie 4 for Mac 下 ......
爬虫----day05（）
上节回顾 # 1 selenium -登录cnblogs，拿到cookie，再打开cnblogs，写入cookie，它就是登录状态 -半自动点赞 》selenium生成的cookie，给requests用 -selenium操作浏览器，速度慢 -requests速度快 -动作链 -自动登录12306 ......
解放生产力：30+实用AI工具汇总
除了ChatGPT，还有哪些好用AI工具？带着这个问题，也为了解AIGC已经在哪些场景落地，我体验了30多个AI工具并且分享出来，希望对你有帮助。 文字 ChatGPT —— 解决任何问题地址：https://chat.openai.com/chat Jasper Ai —— 文案写作地址：http ......
PKIX path building failed，SunCertPathBuilderException: unable to find valid certification path to requested target报错和解决
背景：有一个项目，需要调用gitlab的api，开发阶段在windows上进行。开发完成部署到linux中时，当请求gitlab接口的时候报如下错误： 2023.03.22 10:30:39.522 ERROR [http-nio-8089-exec-2] org.apache.juli.loggi ......
土木界的大牛一直在用的工具-品茗安全工具箱&理正深基坑
很多人说，土木专业的学生毕业之后都是要去工地亲自搬砖的，现在似乎也越来越少的人愿意真的去工地了。 也有人说，土木工程，就是去打灰的。 土木工程到底是干啥的，其实我也不知道，但是无论做什么工作，看了今天介绍的内容，绝对能让你在同专业上领先其他人。如同标题所说，用了它们，应该能为你减轻不少工作量。 品茗 ......
CleanShot X：截图、录屏、标注甚至识别文字的多合一小工具
如果经常使用截图功能,需要记录或者保存一些灵感的,或者喜欢在截图上直接写备注的,我真的好推荐cleanshotX这个软件,缺点大概就是只能mac用。 应用简介 CleanShot X 不仅可以搞定截图、标注、录屏以及滚动截屏。有些「不务正业」的它还能一键隐藏桌面所有图标，不过这也是它的细节之一：进行 ......
Python互联网大数据爬虫的武汉市二手房价格数据采集分析：Linear Regression模型、XGBoost模型和LightGBM模型
全文链接：http://tecdat.cn/?p=31958 原文出处：拓端数据部落公众号 分析师：Yan Liu 我国有大量的资金都流入了房地产行业，同时与其他行业有着千丝万缕的联系，可以说房地产行业对推动我国深化改革、经济发展、工业化和城市化具有不可磨灭的作用。目前对于二手房交易价格的预测主要考 ......
java minio 常用工具类
在网上搜的一位大佬写的较为清晰明了：https://blog.csdn.net/wwwzhouzy/article/details/122316686 ......
SOLIDWORKS插件-BOM自动对比工具
在日常工作中，我们有时需要对BOM数据进行比对，查找他们的差异。如果BOM的数据量非常大，那人工比对起来费时间不说，还不一定能够保证准确性。为了提高检查的效率和保证准确性，使用BOM自动对比工具来自动进行对比就显得尤为重要。 SolidKits.BOMs 高级BOM及属性批量导入工具就提供了BOM对 ......
数据治理工具DataHub的安装及踩坑过程
项目上后面要搞数据治理，网上主流的开源组件是Atlas和DataHub，这几天刚好有时间，先把DataHub安装试用一下。安装过程中问题较多，花了两天时间才安装完。先把安装过程记录一下，后面把功能试用情况也写出来。 ......
优雅！用了这款开发工具，我成了整个公司代码写得最秀的码农
作为大厂的一枚螺丝钉，接到任务的第一时间需要缕清底层逻辑，并随时关注部门其他同事的开发进度。功能完成后，在自己的超级计算机上跑几遍避免出错，这一系列结束后打包发给下个部门。作为一个码农，这样的工作早已习以为常，加班敲代码更是家常便饭。 ......
超级浏览器神器！5款冷门Edge插件让你的上网体验瞬间飙升！
IHome 主页插件：这个插件可以将您的浏览器主页设置为 IHome，这是一个集成了许多实用功能的个性化主页。使用这个插件，您可以快速访问常用网站，查看实时天气信息、日期和时间，并使用搜索引擎和其他实用工具。这个插件让您的浏览器主页变得更加美观、实用和高效！ IHistory 历史记录插件：这个插件 ......
一款 SpringBoot 项目下最优雅的 HTTP 客户端工具RetrofitHttp
大家都知道okhttp是一款由square公司开源的java版本http客户端工具。实际上，square公司还开源了基于okhttp进一步封装的retrofit工具，用来支持通过接口的方式发起http请求。 如果你的项目中还在直接使用RestTemplate或者okhttp，或者基于它们封装的Htt ......
retrofit-plus是一款基于retrofit2实现的轻量级httpClient客户端工具
因为其简单与出色的性能，Retrofit 是安卓上最流行的HTTP Client库之一。 不过它的缺点是在Retrofit 1.x中没有直接取消正在进行中任务的方法。如果你想做这件事必须手动杀死，而这并不好实现。 Square几年前曾许诺这个功能将在Retrofit 2.0实现，但是几年过去了仍然没 ......
kali工具-hping3
一、工具介绍 hping 是面向命令行的用于生成和解析TCP/IP协议数据包汇编分析的开源工具。可用来伪造IP访问服务器、dos攻击服务器等。 目前最新版是hping3，它支持TCP，UDP，ICMP，和RAW-IP协议，具有跟踪路由模式，能够在覆盖的信道之间发送文件以及许多其他功能。 hping3 ......
什么平台制作表单工具效率高？
目前，低代码开发平台在很多行业中得到了应用和推广。如果需要制作表单工具，还依然用传统的表单工具来制作表单，效率不仅得不到提升，而且办公自动化发展步伐也将缓慢发展。那么，借助什么样的平台可以让制作表单工具更高效？低代码开发平台可以了解一下，灵活性强、操作简便、就像搭积木般轻松自如地完成各种场景的表单制 ......
线程池的创建 Executors工具类
package com.Java;import java.util.concurrent.*;public class TestPool { public static void main(String[] args) { //创建服务 创建线程池 ExecutorService service = ......
Day 18 18.1 并发爬虫之协程实现
并发爬虫之协程实现 协程，又称微线程，纤程。英文名Coroutine。一句话说明什么是线程：协程是一种用户态的轻量级线程。 协程拥有自己的寄存器上下文和栈。协程调度切换时，将寄存器上下文和栈保存到其他地方，在切回来的时候，恢复先前保存的寄存器上下文和栈。因此： 协程能保留上一次调用时的状态（即所有局 ......
VirtualBox 安装 ubuntu后安装增强工具无效的解决办法 亲测好用
点击设备-安装增强功能后显示无法挂载光盘什么的。上网查询后弹出光盘，再次点击安装依旧没有反应。 解决办法： 1. 安装Oracle VM VirtualBox Extension Pack 在Oracle VM VirtualBox官网下载对应版本的Oracle VM VirtualBox Exte ......
无需安装工具，一行shell命令测试远程主机端口连通性
for ip in 10.191.2.1 10.191.2.2; do for port in 22 80 443; do timeout 1 bash -c "echo >/dev/tcp/$ip/$port" && echo "$ip:$port:on" || echo "$ip:$port:o ......
VS Code日常使用-shell编程工具
个人多年经验，shell没有自己专用的IDE，使用vim开发，对于新手而言不太友好，那如何高效快速书写shell脚本？合适的工具就显得尤为重要，本人比较推荐的就是VS Code。里面有比较成熟的插件，对于新人而言，非常方便。 VS Code 官网： https://code.visualstudio ......
CodeGeeX、CodeWhisperer、Github Copilot三款AI辅助编程工具，程序员该如何选择？
亚马逊今天在Re:Mars大会上宣布推出CodeWhisperer，这是一款类似于**CodeGeeX和GitHub Copilot的AI辅助编程工具，它根据一个注释或几个按键来自动补全整个函数。目前支持Java、JavaScript和Python，和CodeGeeX**一样，使用了数十亿行公开可用 ......
爬取的数据，存到mysql中、爬虫和下载中间件、加代理，cookie，header，加入selenium、去重规则源码分析（布隆过滤器）、scrapy-redis实现分布式爬虫
# 1 scrapy架构 -爬虫：写的一个个类 -引擎： -调度器：排队，去重 -下载器 -pipline -下载中间件 -爬虫中间件 # 2 命令 -scrapy startproject 项目名 -scrapy gensipder 爬虫名 网址 -scrapy crawl 爬虫名字 -run.p ......
Required request body is missing: 前端接口报错错误解决
前几天遇到一个报错：Required request body is missing； 经过检查是因为在传递参数时使用params来传递的。 而使用params来传递参数会被拼接到url上不管是get还是post请求，这时候请求体也就是body是不存在的。 所有后端在获取参数时会报request b ......
Wireguard工具的使用方法
Wireguard在Win10中启动之后的界面如图。添加一个空tunnel并激活，得到的界面如图： Public key 和 Listen port是需要告诉对端的。点击Edit添加对端信息： 按照如上格式添加配置：PublicKey的值是对端提供的。AllowedIPs的值是根据自己给两端wg0接 ......
〇 - 自动化工具迅速打点命令集合
注意：本文不含工具安装教程，请自行安装并配置环境变量。以下命令仅适用于Linux|MacOS上运行 1.单工具使用 Automatic Scan - 使用 wappalyzer 技术检测目标应用的技术栈或组件进行自动 Web 扫描 nuclei -u https://example.com -as ......