爬虫 神器requests工具
springboot阿里云oss工具类
pom依赖; yml配置: 读取配置文件类: 上传: 完整工具类代码: 点击查看代码 ` import cn.hutool.core.lang.UUID; import com.aliyun.oss.OSS; import com.aliyun.oss.OSSClientBuilder; impor ......
自学Python爬虫笔记（day3）
环境python3.9版本及以上，开发工具pycharm 数据解析提供了4种解析方式：re解析、xpath解析、bs4解析、pyquery解析 首先初步入门学习了爬虫方面的正则表达式。 正则表达式（regular expression）是一种使用表达式的方式对字符串进行匹配的语法规则。使用正则表达式 ......
2023 海外工具站 2 月复盘
观点：关于 AIGC 最近看的这块挺多。分享下我对 AIGC 的一些观点 AIGC（AI Generated Content）是由 AI 生成的内容。我认为的内容很多，文字、图片、视频、音频、3D 等等 观点 1： AIGC 不应该卷互联网行业，for 工业 for 生产。比如服装来源于设计稿，应该 ......
成功解决requests 报错raise SSLError(e, request=request)_requests.exceptions.SSLError_ HTTPSConnectionPool(host='v4.ketangpai.com',
问题描述 在使用requests调用https接口时，会遇到ssl证书报错 raise SSLError(e, request=request) requests.exceptions.SSLError: HTTPSConnectionPool(host='v4.ketangpai.com', po ......
定位提示工具
以下实例中，提示工具显示在指定元素的右侧(left:105%) 。 注意 top:-5px 同于定位在容器元素的中间。使用数字 5 因为提示文本的顶部和底部的内边距（padding）是 5px。 如果你修改 padding 的值，top 值也要对应修改，这样才可以确保它是居中对齐的。 在提示框显示在 ......
java模仿网络爬虫简单案例，直接看代码
java模仿网络爬虫简单案例，直接看代码 package com.example.demo1; import java.io.*; import java.net.*; import java.util.regex.Matcher; import java.util.regex.Pattern; / ......
Python网络爬虫进阶扩展
学习爬虫不是一天就能学会的，得循序渐进的慢慢学透了，才能更好的做爬虫相关的工作。下面的爬虫有关的有些知识点肯定要学会。 1、如何使scrapy爬取信息不打印在命令窗口中 通常，我们使用这条命令运行自己的scrapy爬虫： scrapy crawl spider_name 但是，由这条命令启动的爬虫， ......
BetterNCM 丨 PC版网易云音乐扩展工具-网易云太单调？那就给它加点料！
网易云 UI 太老旧了，真的就一点都不符合现在年轻人的品味，能换UI皮肤吗？ 当然可以！既然系统都能换皮肤改个花样，软件也应该轻轻松松吧？ 还真有一个适用于网易云音乐的插件-BetterNCM，GitHub收获4000多个star，立马就爱上了。 BetterNCM是什么？ 使用平台：Windows ......
Containerd高阶命令行工具 - nerdctl 【2】
1.前言 对于用惯了docker cli的用户来说，containerd的命令行工具ctr使用起来不是很顺手，此时别慌，还有另外一个命令行工具项目nerdctl可供我们选择。 nerdctl是一个与docker cli风格兼容的containerd的cli工具。 nerdctl已经作为子项目加入了c ......
内网穿透神器NeutrinoProxy 1.8.0版本发布
项目简介 中微子代理(neutrino-proxy) 是一款基于netty的内网穿透神器。该项目采用最为宽松的MIT协议，因此您可以对它进行复制、修改、传播并用于任何个人或商业行为。 Gitee地址：https://gitee.com/dromara/neutrino-proxy 官网地址：http ......
网络爬虫完整案例
网页爬虫也并非那么难，只要理解他几个模块已经步骤，正常来说完成一个爬虫来说很容易。将requests、正则表达式的基本用法等知识点串联起来，实现一个完整的网站爬虫。 1、准备工作 （1）安装好Python3，最低为3.6 版本，并能成功运行 Python3 程序。 （2）了解 Python HTTP ......
ETL数据迁移8 种主流数据迁移工具技术选型
ETL(是Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程)，对于企业应用来说，我们经常会遇到各种数据的处理、转换、迁移的场景。 今天特地给大家汇总了一些目前市面上比较常用的ETL数据迁移工具，希望对你会有所帮助。 1.Kettle Kettle是一款国外开源的ETL ......
python 开发工具安装 PyCharm
各个语言都有开发工具，依照各人的喜好，比如习惯java ，而且使用的是eclipse，那么我可以在应用市场增加各pydev插件。 当然还是使用专用的开发工具比较好点。pycharm。 官网 https://www.jetbrains.com/pycharm/ 点击页面上的download --选择社 ......
neondatabase 开源的k8s postgres autoscaling 工具
autoscaling neondatabase 开源的pg 扩展工具(核心是解决neondatabase的一些问题)，但是设计上有不少值得学习参考的地方 参考架构 说明 autoscaling 设计上实现了自己的一个vm （支持在线迁移业务影响小）,实现了自己的scheduler，也算是一个不错的 ......
Python基础(四)爬虫
python爬虫 系列文章 网上搜素的系列文章 记录一下后续可能会用https://mp.weixin.qq.com/mp/appmsgalbum?__biz=MzI3NzI1MzY4Mw==&action=getalbum&album_id=1786298272630816773#wechat_r ......
python-爬虫-css提取-写入csv-爬取猫眼电影榜单
猫眼有一个电影榜单top100，我们将他的榜单电影数据（电影名、主演、上映时间、豆瓣评分）抓下来保存到本地的excle中 本案例使用css方式提取页面数据，所以会用到以下库 import time import requests import parsel #解析库，解析css import csv ......
【下载工具】推荐一个免费代理下载网站
1、网站 https://d.serctl.com 2、下载方法 找到你要下载的文件，右键复制链接地址 黏贴到下载网站的地址输入框 点击提交 若已经有近期下载会检测到。但是你依然可以提交重新下载 下载完之后，点击后面的下载地址下载到本地即可 至此完成，因为是免费，以后可能会失效 ......
【UE工具向】使用EditorUtilityBlueprint脚本化操作资产
资料 官方文档：虚幻引擎脚本化操作 使用场景 对资产/Actor进行一些脚本化操作，比如做一些资源检查、纠正一些配置项、输出信息等等。 AssetActionUtility示例 检查蓝图资源中的某个配置 创建工具蓝图：内容浏览器右键 -> Editor Utilities -> Editor Uti ......
一堆好用软件工具，好玩又实用！-搜嗖工具箱
闪萌 http://www.weshineapp.com/ 闪萌！话说这是一个最全最酷最有趣的GIF动图中文搜索引擎，发现好玩的gif动图,包括明星、美女、搞笑、微信QQ聊天表情包，可以一键分享到微信QQ新浪微博，支持gif动图下载，表情包下载到手机， giphy https://giphy.com ......
一些常用的Python调试工具
pdb：Python自带的调试工具，可以在代码中添加断点并逐步执行代码，以便逐步检查代码执行的过程。 ipdb：基于pdb的增强版，支持更多的交互式调试功能。 PyCharm：一个常用的Python集成开发环境，可以通过图形化界面来调试程序。 Visual Studio Code：另一个常用的Pyt ......
自学Python爬虫笔记（day2）
环境python3.9版本及以上，开发工具pycharm 浏览器工具推荐使用Chrome，其他浏览器均有一定程度的阉割。 主要是熟练使用后端界面进行爬取数据。 http协议：超文本传输协议 把一条消息分为三大块内容： 请求： 1.请求行 --> 请求方式（get/post） 请求URL地址 协议 2 ......
sms-activate操作简便易上手且好用的接码工具【保姆级教程】
前言 有些国外应用在使用应用上的功能时需要注册账号，由于某种不可抗因素，我们的手机号一般不支持注册，接收不到信息验证码，于是我们可以使用SmS-Activate提供的服务，使用$实现我们的需求（大概一次验证1-5块之间，看自己需求），今天正巧有需求，索性将验证过程记录下来以便于日后查阅！ 注册sms ......
Python爬虫 execjs执行js报错json.decoder.JSONDecodeError: Expecting value: line 1 column 85 (char 84)
fun=re.search(r'(__=\([\S\s]*?;)<',r_text).group(1)fun=fun+'function get(){return JSON.stringify(__.data)}'ctx = execjs.compile(fun)rdata = (ctx.eval( ......
ChatGPT推荐最常用的自动化测试、性能、安全测试工具！
ChatGPT是一种当前被广泛关注的人工智能技术，它具备生成自然语言的能力，能够完成一些简单的文本生成、对话交互等任务。ChatGPT 算法的出现，打破了以前自然语言处理的瓶颈，使得机器具备了更加贴合人类想法的表达能力，也让人类在处理海量自然语言数据面前得到了很大的帮助。 而ChatGPT也被很多人 ......
Apache-commons，Spring，hutoo提供的常用工具
#1. Apache-commons 官网：https://commons.apache.org/ 在首页就能看到它提供的各种包，引入包就能使用里面的工具类 ####1.1 常用工具包简介 Commons BeanUtils：针对Bean的一个工具集。由于Bean往往是有一堆get和set组成，所以 ......
怎么实现从app注册登录应用跳转到app2所获得爬虫后台数据
import json from flask import Flask, render_template, request, jsonify from flask_mysqldb import MySQL from flask_login import logout_user import pymy ......
08多任务爬虫
多任务爬虫 线程进程回顾 实现多任务爬虫的方式：多进程/多线程 进程：是计算机当中最小的资源分配单位 线程：是计算机当中可以被CPU调度的最小单位 我们执行一个python代码的时候，在计算机的内部会创建一个进程，在进程当中会创建一个线程，代码是由线程去执行的 创建进程/线程 import time ......
02requests的使用
requests的使用 一、requests模块 1.1 request模块的安装 在CMD命令行中执行如下命令进行在线安装 pip install requests 由于网络的不稳定性有时会导致下载失败，在下载的时候我们可以加上第三方源进行下载 清华：https://pypi.tuna.tsing ......