爬虫 神器requests工具
scrapy爬虫框架（五）Spider Middleware
Spider Middleware，中文可以翻译为爬虫中间件，但我个人认为英文的叫法更为合适。它是处于Spider 和 Engine 之间的处理模块。当 Downloader 生成 Response 之后，Response 会被发送给 Spider,在发送给 Spider 之前，Response 会 ......
MATLA 5G工具箱---2023小迈步之通信系统设计——从基础到 AI+
基于MATLAB R2022b版软件学习！ 【官方】2023小迈步之通信系统设计——从基础到 AI+(上)_哔哩哔哩_bilibili Improve SNR and Capacity of Wireless Communication Using Antenna Arrays 利用天线阵列提高无线 ......
apache-DBUtils 工具类
###用于查询多行多列的数据 package com.jdbc.DBUtils; import com.JDBC_Utils.JDBCUtilsByDruid; import com.JDBC_Utils.News; import org.apache.commons.dbutils.QueryRu ......
Mac截图软件工具哪个好用（6款Mac截图软件工具推荐）
大家在使用电脑的时候必不可少会用到的一个功能就是截图，使用苹果电脑MAC的时候，大家常用什么截图呢？是苹果自带的截图软件还是微信或者QQ等聊天软软件的截图功能呢，不过话说回来，微信或者QQ虽然是大家常用的截图软件，但是其往往会受到截图大小的限制，比如你想截整屏又不想让微信入镜的时候，就难办了。那么有... ......
构建工具承担了哪些工作？
前提：浏览器只认识html、css、js 在实际项目中，一般都会具备如下功能： 1、TypeScript 2、Vue/React 3、less/scss 4、语法降级：babel 5、体积优化：UglifyJS ..... 这些文件浏览器是无法直接识别的，需要通过编译或转换成浏览器认识的样子 1、t ......
JWT介绍&工具类
是什么 Auth0是一个身份验证（authentication）和授权（authorization）服务，它允许开发者通过使用JWT（JSON Web Token）来实现身份验证和授权。JWT是一种开放标准（open standard），它定义了一种紧凑且自包含的方式来在不同的应用程序之间安全地传递 ......
Unity 工具 之 ZXing QRCode 二维码的生成和识别（可设置生成不同颜色的/带图标的二维码）
一、简单介绍 Unity 开发中，自己整理的一些游戏开发可能用到的功能，整理归档，方便游戏开发。 ZXing QRCode 二维码的生成和识别，调用 zxing.unity.dll 里面的接口 ，很容易实现自己需要的相关二维码的生成和识别功能。 二、实现原理 1、两种方法生成二维图： Barcode ......
用python实现简单的版本号生成工具
用python实现简单的版本号生成工具 我们发布比较频繁，每次发布都需要从release分支打1个tag，不过可能是因为年纪大了的缘故吧，尽管借鉴了一些版本号的制定规则，不过每次我都记不太住，需要翻文档去重新复习，不如把这步自动化一下，为未来的自己节约一点时间，另外有了工具就好统一规则，后面所有相关 ......
智能AI代码工具Cursor的使用
// Import necessary namespaces using System.Net.Http; using System.Text; using System.Threading.Tasks; // Define a method to send a message to the WeC ......
阿西莫夫机器人 用 ChatGPT 开发一个能听懂人话的命令行工具
小结： 1、 3种角色 2、 设立榜样 ChatGPT 会将整个聊天记录作为输入，因此我们可以通过提供一些“榜样”来让 ChatGPT 更好地理解我们的意图。这意味着我们可以在界面上将 ASSISTANT 原先错误的回答修改为正确的，也就是给出了正确回答的“好榜样”。 用 ChatGPT 开发一个能 ......
SecureCRT mac(好用的终端SSH仿真工具)v9.3.2正式激活版
securecrt mac版是专门为苹果Mac 用户设计的终端仿真程序，SecureCRT下载为组织中的每个人提供安全的远程访问，文件传输和数据隧道。可以为计算机专业人员提供坚实的终端仿真，通过高级会话管理提高工作效率，并采用多种方式节省时间并简化重复任务。通过这款软件可以让SFTP 的文件传输更安 ......
AI工具导航
ChatGPT OpenAI开发的大型语言模型 文心一言 百度全新一代知识增强大语言模型 文心一格 百度文心一格，AI艺术和创意辅助平台。 Midjourney 文本生成图像的AI工具 Stable Diffusion Stability AI推出的文本到图像生成AI模型 FutureTools 收 ......
IT工具知识-16: 安卓手机通过USB共享网络给OpenWrt
0.系统环境 设备: Phicomm N1 固件: OpenWrt R22.6.16 (2022-06-16 10:27:09 by flippy) 内核: 5.15.47-flippy-73+o 1.使用前必备 在OpenWrt中安装以下模块 kmod-usb-net kmod-usb-net-r ......
自学Python爬虫笔记（day1）
环境python3.9版本及以上，开发工具pycharm 君子协议：robots.txt协议 规定了网站中哪些数据可以被爬虫爬取哪些不可以被爬虫爬取 下面是我学习的第一个爬虫的开发： from urllib.request import urlopen url = "http://www.baidu ......
安装MYSQL_5.0/8.0教程（附数据库和客户端工具下载链接）
1. Mysql5.7下载 网盘下载（推荐）： 链接：https://pan.quark.cn/s/d98d2536f847提取码：kbyN 官网下载： mysql下载地址： https://dev.mysql.com/downloads/windows/installer/8.0.html 跳转到 ......
反爬虫常见策略总结
有爬虫就有反爬虫，这都是相辅相成的，对于长时期从事在爬虫行业的技术员来说，时刻要了解对应网站的反爬机制，才能稳定获取数据。下面就是我这几年接触过的反爬的一些案例，供大家参考下。 反爬虫 反爬虫，即应对爬虫进行反制的统称，主要区分“正常用户”与“机器人”的一种策略统称。 认识反爬虫 正所谓知其然，知其 ......
2023 海外工具站 1 月复盘
认知：海外工具站的杠杆 大家都听过： 商业杠杆来自资本、劳动力和复制边际成本为零的产品（代码和媒体）。 -《纳瓦尔宝典》 海外工具站，是属于代码杠杆，属于边际成本几乎零。 所以找到 Niche 的海外付费工具站，然后拼命堆流量。 认知：商业思维转型 经常对自己说：“别成为 PPT 程序员，少巴拉各种 ......
centos6.5安装流量监控工具iftop【杭州多测师】【杭州多测师_王sir】
一、概述iftop可以用来监控网卡的实时流量（可以指定网段）、反向解析IP、显示端口信息等，详细的将会在后面的使用参数中说明。官方网站：http://www.ex-parrot.com/~pdw/iftop/二、依赖包安装yum install -y gcc flex byacc libpcap n ......
解决Mixed Content: The page at https://* was loaded over HTTPS, but requested an insecure XMLHttpReque
问题： 前端页面调用后端接口加载不出来 原因分析： 通过查看浏览器调试 console 日志，得到报错如下 原文： Mixed Content: The page at https://* was loaded over HTTPS, but requested an insecure XMLHtt ......
随机生成工具 RandomValueUtil
package entity; /*** * * @Author:www.itheima.com * @Description:itheima * ****/ public class RandomValueUtil { public static String base = "abcdefghij ......
HttpClient 调用工具
package entity; import org.apache.http.Consts; import org.apache.http.HttpEntity; import org.apache.http.NameValuePair; import org.apache.http.ParseEx ......
Mybatis常用工具类
MetaObject MetaObject是MyBatis中的反射工具类，使用MetaObject工具类，我们可以很优雅地获取和设置对象的属性值。 @Data @AllArgsConstructor private static class User { List<Order> orders; St ......
[Java 开发指南]MyEclipse的代码导航工具
MyEclipse v2022.1.0正式版下载 MyEclipse技术交流群：742336981 欢迎一起进群讨论 无论是在文件之间导航还是在文件中编码，MyEclipse都有许多导航工具可用于加快开发者的工作流程。 使用以下导航工具的任意组合，你的工作效率就会飙升。 快速文件导航 按Ctrl+P ......
爬虫遇到了点问题
正常在写一些爬虫代码的时候多少都会出点小问题，一位合格的程序员应该会认真排除并加以解决错误，如果是新手看着满屏的代码可能会一筹莫展。 golang爬某网站代码优化后，运行报了如下的错，找了半小时才找到原因，在此记录一下。 代码是这样的： 有一个interface类型的Parser： type Par ......
爬虫中的代理问题
最近身边很多人都遇到爬虫中的爬虫ip问题，写下这篇博客来记录自己所学，希望可以帮助到你们。 可能很多人都会问为什么我需要用爬虫ip呢？不用不可以吗？用了爬虫ip之后发现爬虫抓取数据的速度反而下降了不少于是放弃爬虫爬虫ip的使用。 如果我们只是进行少量数据的爬取，用本机的IP与User-Agent去抓 ......
《爆肝整理》保姆级系列教程-玩转Charles抓包神器教程(13)-Charles如何进行Mock和接口测试
1.简介 Charles最大的优势在于抓包分析，而且我们大部分使用的功能也在抓包的功能上，但是不要忘记了，Charles也可以做接口测试。至于Mock，其实在修改请求和响应数据哪里就已经介绍了，宏哥就是在这里简单的提一下介绍一下它的理论知识，今天主要介绍和分享的是使用Charles进行接口测试实操。 ......
Google 现已删除Chrome Cleanup Tool 工具
导读 在 2015 年，Google 为了防止恶意软件篡改 Chrome 浏览器，影响用户正常上网、修改搜索结果、重定向到其他页面，或者在用户访问的页面中注入额外的广告（非网站自身的广告），推出了一个清理工具 —— Chrome Cleanup Tool（Chrome 清理工具），该工具可以帮助用户 ......
这些AI绘画工具教你秒变艺术大师！
这些AI绘画工具教你秒变艺术大师！ 在数字化的时代，人工智能技术的不断发展和进步也给艺术领域带来了许多新的可能性。其中，AI绘画工具成为越来越多艺术家和设计师们的首选，帮助他们创作出独特而精美的艺术品。这些AI绘画工具利用深度学习和机器学习算法，能够模仿人类艺术家的风格和技巧，甚至超越人类的想象力。 ......