爬虫 神器requests工具
微软开源了一个 助力开发LLM 加持的应用的 工具包 semantic-kernel
在首席执行官萨蒂亚·纳德拉（Satya Nadella）的支持下，微软似乎正在迅速转变为一家以人工智能为中心的公司。最近微软的众多产品线都采用GPT-4加持，从Microsoft 365等商业产品到“新必应”搜索引擎，再到低代码/无代码Power Platform等面向开发的产品，包括软件开发组件P ......
Vue.js Vuex开发者工具的使用&Vuex写法一些疑问
视频 4.基本使用 初始化数据、配置actions、配置mutations，操作文件store.js //引入Vue核心库 import Vue from 'vue' //引入Vuex import Vuex from 'vuex' //引用Vuex Vue.use(Vuex) const acti ......
【Java工具类】获取文件编码格式
【使用方法】 String encoding = EncodingDetect.getJavaEncode(filePath + File.separator + fileName); 【工具类👇（即插即用）】 import java.io.*; import java.net.URL; /** ......
一个基于GPT模型实现的Git Commit信息自动生成工具
每次提交代码的时候，你是否有为如何写Commit Message而迟迟按不下提交的时刻呢？然后，死磨硬泡写了一些并提交后，又被review的小伙伴吐槽了呢？相信很多小伙伴有过这样的经历吧？ 趁着最近ChatGPT那么火，就来顺手推荐一个可以用于解决这个问题的VS Code插件：vscode-gpto ......
JAVAWEB-NOTE08-request&response
#request与response对象简介 Request:获取请求的数据 Response:设置响应数据 @WebServlet(value = "/demo3") public class servletdemo3 extends HttpServlet { @Override protecte ......
Python多进程代码调试工具
https://github.com/Lightning-AI/forked-pdb import sys import pdb class ForkedPdb(pdb.Pdb): """ PDB Subclass for debugging multi-processed code Suggest ......
linux下生成高强度密码的四大神器
导读 安全是一个大的话题，给服务器设置一个高强度的密码是非常重要的。你可能会疑惑一个高强度的密码究竟是什么样的呢？怎么才能生成一个那样的密码呢？不用担心下面我们将介绍 4 种简单方法让你在 Linux 中生成一个高强度密码 1. 在 Linux 中使用 OpenSSL 来生成一个高强度密码 在所有的 ......
op工具使用设置
一 securecrt 1 SecureCRT标签显示IP地址 当使用SecureCRT连接到linux服务器后，SecureCRT的标签会随着操作目录的改变而改变，当连接多个的时候很不好区分，所以需要设置标签栏固定显示IP地址信息。 options->Session Options->Termin ......
【K哥爬虫普法】大众点评VS百度地图，论“数据权属”对爬虫开发的罪与罚！
我国目前并未出台专门针对网络爬虫技术的法律规范，但在司法实践中，相关判决已屡见不鲜，K哥特设了“K哥爬虫普法”专栏，本栏目通过对真实案例的分析，旨在提高广大爬虫工程师的法律意识，知晓如何合法合规利用爬虫技术，警钟长鸣，做一个守法、护法、有原则的技术人员。 案情介绍 被告人：北京百度网讯科技有限公司（ ......
JAVA 使用Hutool的HttpRequest加FileUtil工具类 把获取的二进制作图片内容进行保存
在使用小程序生成二维API接口时，通过HttpRequest请求获取到的Buffer为二进制内容，需要返回值必须为Byte类型，返回String类型就会变成乱码 下面直接上我的获取二维码方法，获取asscess_token略过： /** * 生成带参数的小程序二维码 */ public String ......
【0基础学爬虫】爬虫基础之代理的基本使用
大数据时代，各行各业对数据采集的需求日益增多，网络爬虫的运用也更为广泛，越来越多的人开始学习网络爬虫这项技术，K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章，为实现从易到难全方位覆盖，特设【0基础学爬虫】专栏，帮助小白快速入门爬虫，本期为代理的基本使用。 代理概述 ip地址是一个唯一地址，它用于标识 ......
Python工具箱系列(二十九)
MongoDB号称文档数据库，是目前发展迅速的NoSQL数据库。它由C++语言编写，旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。MongoDB... ......
制作房贷利息计算工具
from decimal import Decimal from pickle import GLOBAL from easygui.boxes.derived_boxes import enterbox from prettytable import PrettyTable import copy ......
阿里又开源一款数据同步工具 DataX，稳定又高效，好用到爆！
作者：愿许浪尽天涯 链接：https://juejin.cn/post/7077744714954309669 前言 我们公司有个项目的数据量高达五千万，但是因为报表那块数据不太准确，业务库和报表库又是跨库操作，所以并不能使用 SQL 来进行同步。当时的打算是通过 mysqldump 或者存储的方式 ......
ArcMap将Python写的代码转为工具箱与自定义工具
本文介绍在ArcMap软件中，通过已有的Python脚本程序，建立新的工具箱并在其中设置自定义工具的方法。 通过本文介绍的操作，我们便可以实现将自己的Python代码封装，并像其他ArcGIS已有工具一样，进行界面化的地理处理操作。 话不多说，我们开始具体操作。首先，在ArcMap中打开“ArcTo ......
【0基础学爬虫】爬虫基础之网络请求库的使用
大数据时代，各行各业对数据采集的需求日益增多，网络爬虫的运用也更为广泛，越来越多的人开始学习网络爬虫这项技术，K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章，为实现从易到难全方位覆盖，特设【0基础学爬虫】专栏，帮助小白快速入门爬虫，本期为网络请求库的使用。 网络请求库概述 作为一名爬虫初学者，熟练使 ......
parcel工具搭建three.js开发环境及报错填坑
parcel工具搭建three.js开发环境 今天用parcel工具搭建了一个threejs开发环境，遇到了一点小坑，简单的做一个记录。 首先贴出正确的操作姿势 mkdir threeJsDemo cd threeJsdemo yarn init //一路回车 然后生成package.json文件, ......
《爆肝整理》保姆级系列教程-玩转Charles抓包神器教程(12)-Charles如何使用Repeat功能进行简单压力测试
1.前言 李四：“今天好累啊，点的我手指都疼了。我一直被要求给后端接口的同事重复发送请求来调试接口。” Charles：“哎呀，李四同学，你怎么能一条一条的手动发送呢 我可是有超级工具：负载测试。” 2.简介 Repeat英文的意思就是：重复，顾名思义：就是重复请求接口，可以单次请求，一次只请求一次 ......
域渗透小工具分享
0x01. NetLocalGroupGetMembers功能：查询目标服务器本地管理组的成员0x02. NetLocalGroupEnum功能：返回指定服务器上的所有本地组0x03. NetGroupGetUsers功能：返回指定服务器指定组的所有成员查询域里的各个组里的成员，IP必须是域控IP0 ......
MinIO上传文件The difference between the request time and the server's time is too large.异常
问题 向MinIO上传文件时，抛出异常：The difference between the request time and the server‘s time is too large. 使用date命令修改CentOS时间后，异常依然存在。 相关Linux命令 查看系统时间：date 查看硬件 ......
kali工具-masscan
一、工具介绍 Masscan的扫描结果类似于nmap，在内部，它更像scanrand, unicornscan, and ZMap，采用了异步传输的方式。它和这些扫描器最主要的区别是，它比这些扫描器更快。而且，masscan更加灵活，它允许自定义任意的地址范和端口范围。 Masscan号称是最快的互 ......
Python实践(1):使用爬虫将小说保存为txt文件
本文将介绍如何利用Python编写爬虫程序将想看的小说以txt格式保存到电脑上 涉及的知识:爬虫,html,正则表达式 本文将以《安娜·卡列尼娜》小说在线阅读_列夫·托尔斯泰 (sbkk8.com)这个网站为例,其他的网站代码格式略有不同,但爬取的思路类似 (1)找到想看的小说的章节选择页面,将该页 ......
Python工具箱系列(二十八)
Access也是微软Office套餐中的经典产品。虽然在许多人眼里，Access已经是上古时代的产品，但实际上它一直深受好评，并且稳定发展。之所以在许多IT人士眼里，Access不值一提的主要原因恰恰也是它深受非专业人士喜欢的原因：专供非IT人士自用的数据库。 ......
常用工具地址 个人
1. sass转 csshttps://www.sassmeister.com/2. android button 在线设定 shape背景http://angrytools.com/android/button/3. android svg 转 vectorDrawablehttp://inloo ......
Elasticsearch数据迁移工具之ESM
Elasticsearch数据迁移工具之ESM https://www.modb.pro/db/337630 git源码地址：https://github.com/medcl/esm/ ......
好用到爆！10个你可能不知道的VSCode开源工具神器
作为一款广受欢迎的开源IDE，VSCode凭借其轻量级和高度可扩展的特性，成为了越来越多开发者的首选工具。但是，VSCode的强大功能并不仅限于其本身，是可以通过插件、主题和其他扩展来进一步扩展其功能。在本篇文章中，我将介绍10个原先你可能根本不知道的开源工具，这些工具可以帮助你更高效的使用VSCo ......
Python抓取数据如何设置爬虫ip
在写爬虫爬取github数据的时候，国内的ip不是非常稳定，在测试的时候容易down掉，因此需要设置爬虫ip。本片就如何在Python爬虫中设置爬虫ip展开介绍。 也可以爬取外网 爬虫编写 需求 做一个通用爬虫，根据github的搜索关键词进行全部内容爬取。 代码 首先开启爬虫ip，在设置中修改HT ......
Capture One 23中文企业版 Mac(图片编辑工具)
Capture One 23 Enterprise是一款专业的影像后期处理软件，适用于各类影像后期处理场景，如商业摄影、艺术摄影、肖像摄影、食品摄影等。Capture One 23 Enterprise提供了数字负片、RAW 图像解析和前处理，以及丰富的图像调整和优化工具，包括色彩管理、直方图、色彩 ......
如何构建通用的垂直爬虫系统？
对于一个资深程序员来说写一个爬虫其实很简单，如何写一个稳定持续运行的爬虫也不难，但是如果构建一个通用化的爬虫平台系统将为后面的工作节省很多时间。 这篇文章，我就来和你分享一下，一个通用垂直爬虫平台的构建思路。 首先介绍一下，什么是爬虫？ 搜索引擎是这样定义的： 网络爬虫（又被称为网页蜘蛛，网络机器人 ......
Python爬虫 Pyppeteer模拟登录（带验证码识别）
Python爬虫 Pyppeteer模拟登录（带验证码识别） 需求 绕过登录验证码或自动登录 参考 主流网站 Python 爬虫模拟登陆方法汇总 - 知乎 (zhihu.com) python爬虫_hwwaizs的博客-CSDN博客 技术路线 1 request 本地请求 实现基于python的We ......