爬虫 神器requests工具
DNS测试工具
通过host命令测试 $ host www.baidu.com 192.168.3.102 Using domain server: Name: 192.168.3.102 Address: 192.168.3.102#53 Aliases: www.baidu.com is an alias fo ......
性能最快的代码分析工具，Ruff 正在席卷 Python 圈！
几天前，Python 开源社区又出了一个不小的新闻：HTTPX 和 Starlette 在同一天将在用的代码分析工具（flake8、autoflake 和 isort）统一替换成了 Ruff。 HTTPX 是一个支持异步的 HTTP 客户端，Starlette 是一个轻量级的 ASGI 框架，它们都 ......
爬虫最后一天,爬取到的数据存到mysql中，爬虫和下载中间件、加代理、cookie、header、selenium、随机生成uersagent、去重规则源码分析(布隆过滤器)、scrapy-redis实现分布式爬虫、扩展去重规则
==爬到的数据存到mysql中== class FirstscrapyMySqlPipeline: def open_spider(self, spider): print('我开了') self.conn = pymysql.connect( user='root', password="", h ......
UML及管理工具
*UML及管理工具 创建时间：| 2021/12/21 10:27 | 作者：| HelloXF 标签：| 管理知识库, 系统设计 UML之用例图分析（关联、泛化、包含、扩展） 用例图：由参与者（Actor）、用例（Use Case）以及它们之间的关系、系统边界构成的用于描述系统功能的静态视图。 一 ......
开源.NetCore通用工具库Xmtool使用连载 - 加密解密篇
【Github源码】 《上一篇》详细介绍了Xmtool工具库中的正则表达式类库，今天我们继续为大家介绍其中的加密解密类库。 在开发过程中我们经常会遇到需要对数据进行加密和解密的需求，例如密码的加密、接口传输数据的加密等；当前类库中只封装了Base64、AES两种加密解密方法，因为C#提供了几乎我们能 ......
什么是爬虫
什么是爬虫 伪装成浏览器与服务器进行数据交互的自动化程序 我找你要，你给我给 爬虫的分类 通用爬虫 聚焦爬虫 如何伪装？ User-Agent：产生请求的浏览器类型; referer：防盗链，页面跳转处，表明产生请求的网页来自于哪个URL，告诉服务器我是从哪个链接过来的 Host：请求的主机名，允许 ......
什么是网络爬虫？有什么用？怎么爬？
以前常听见爬取这个名词，今天搜了搜，展示如下： 导读：网络爬虫也叫做网络机器人，可以代替人们自动地在互联网中进行数据信息的采集与整理。在大数据时代，信息的采集是一项重要的工作，如果单纯靠人力进行信息采集，不仅低效繁琐，搜集的成本也会提高。 此时，我们可以使用网络爬虫对数据信息进行自动采集，比如应用于 ......
wpf CommunityToolkit.Mvvm8.1 MVVM工具包安装引用指南
CommunityToolkit.Mvvm包(又名MVVM 工具包，以前名为 Microsoft.Toolkit.Mvvm)是一个现代、快速且模块化的 MVVM 库。它支持:.NET Standard 2.0、 .NET Standard 2.1 和 .NET 6(UI Framework 不支持) ......
scrapy爬虫框架（七）Extension的使用
一、简介 Scrapy提供了一个Extension机制，可以让我们添加和扩展一些自定义的功能。利用Extension我们可以注册一些处理方法并监听Scrapy运行过程中的各个信号，做到发生某个事件时执行我们自定义的方法。 Scrapy已经内置了一些Extension，如LogStats这个Exten ......
自学Python爬虫笔记（day4）
环境python3.9版本及以上，开发工具pycharm 今天是对requests模块的应用实战，分别是爬取豆瓣电影TOP250的基本信息和电影天堂“2023必看热片”的名称及下载地址。具体如下： '''爬取豆瓣电影TOP250的基本信息 思路： 1.拿到页面源代码 2.编写正则，提取页面数据 3. ......
Python 进阶指南（编程轻松进阶）：三、使用 Black 工具来格式化代码
原文：http://inventwithpython.com/beyond/chapter3.html 代码格式化是将一组规则应用于源代码，从而使得代码风格能够简洁统一。虽然代码格式对解析程序的计算机来说不重要，但代码格式对于可读性是至关重要的，这是维护代码所必需的条件。如果你的代码对人（无论是你还 ......
免杀|PEiD查壳、脱壳+汉化+工具打包
一、加壳 加壳的全称应该是可执行程序资源压缩，压缩后的程序可以直接运行。 加壳的另一种常用的方式是在二进制的程序中植入一段代码，在运行的时候优先取得程序的控制权，之后再把控制权交还给原始代码，这样做的目的是隐藏程序真正的OEP（入口点，防止被破解，查壳就是为了找它），类似于动物界的龟壳。大多数病毒就 ......
ffmpeg 工具
多个片段合并成一个： ffmpeg -i a.flv \ -vf "select='between(t,0,34)+between(t,170,177)+between(t,400,465)+between(t,475,603)', setpts=N/FRAME_RATE/TB" \ -af "as ......
爬虫基础内容回顾
回顾基础内容 浏览器. 简单聊聊浏览器工作原理： 浏览器在加载页面源代码的时候. 会遇到一些特殊的东西 1. 图片<img> 2. css样式<link href="xxxxx.css"> 3. js文件<script src="xxxxx.js> 4. js代码片段 <script>js代码</s ......
Docker-compose 到 Kubernetes 的迁移工具！
在 skippbox，我们开发了 Kompose 这一工具，他能够自动把 Docker Compose 应用转换为 Kubernetes 描述文件。利用一个简单的 kompose up 命令，就可以在 Kubernetes 集群上启动 Compose 应用。我们非常乐于将其捐献给 Kubernete ......
【大数据】什么是数据集成？（SeaTunnel 集成工具介绍）
一、什么是数据集成？ 数据集成是指将来自不同数据源的数据整合到一起形成一个统一的数据集。这个过程包括从不同的数据源中收集数据，对数据进行清洗、转换、重构和整合，以便能够在一个统一的数据仓库或数据湖中进行存储和管理。 数据集成可以帮助企业更好地理解和利用他们的数据，并促进数据驱动的决策和业务流程优化。 ......
Lz4 解压缩工具类
1、引入依赖 <dependency> <groupId>org.lz4</groupId> <artifactId>lz4-java</artifactId> <version>1.8.0</version> <scope>compile</scope> </dependency> 2、工具类 p ......
flask：请求上下文分析（源码：request原理）、wtforms（了解）
一、请求上下文分析（源码：request原理） 1.1 导出项目的依赖（pipreqs模块） 之前我们是用 pip freeze >requirements.txt 把当前解释器环境下的所有第三方依赖都导出来 而使用第三方模块：pipreqs模块，可以实现精确导出依赖（只显示安装的模块，不显示模块的 ......
MySQL（十三）MySQL性能分析工具：慢查询日志与PROFILE查询成本
性能分析工具SLOW QUERY LOG、PROFILE的使用 数据库调优的目标就是响应速度更快，吞吐量更大。利用宏观的监控工具和微观的日志分析可以帮助我们找到调优的思路和方式。 :star2: 数据库调优的步骤 整个流程分为了观察（Show Status）和行动（Action）两个部分，S ......
最全Python数据工具箱：标准库、第三方库和外部工具都在这里
导读：Python数据工具箱涵盖从数据源到数据可视化的完整流程中涉及到的常用库、函数和外部工具。其中既有Python内置函数和标准库，又有第三方库和工具。这些库可用于文件读写、网络抓取和解析、数据连接、数清洗转换、数据计算和统计分析、图像和视频处理、音频处理、数据挖掘/机器学习/深度学习、数据可视化 ......
adb-adb安装和配置，安装scrcpy投屏工具
一、ADB下载安装 1、下载 网盘下载链接：https://pan.baidu.com/s/1cWqI14Ojv7XjGg3NGatWVg 提取码：2001 2、安装 解压安装即可，建议安装在D盘 二、ADB环境变量配置 win10系统下，右击此电脑——点击“属性”——点击“高级系统设置”——在系统 ......
scrapy爬虫框架（六）Item Pipeline的使用
Item Pipeline即项目管道，它的调用发生在Spider产生Item之后。当Spider解析完Response，Item就会被Engine传递到Item Pipeline，被定义的Item Pipeline组件会顺次被调用，完成一连串的处理过程，比如数据清洗、存储等。 Item Pipeli ......
定位提示工具
以下实例中，提示工具显示在指定元素的右侧(left:105%) 。 注意 top:-5px 同于定位在容器元素的中间。使用数字 5 因为提示文本的顶部和底部的内边距（padding）是 5px。 如果你修改 padding 的值，top 值也要对应修改，这样才可以确保它是居中对齐的。 在提示框显示在 ......
如何利用网络科技提高工作效率？看看这些实用工具和技巧
通过利用网络科技，我们可以更高效地完成工作，提高工作效率，从而获得更好的工作和生活质量。在本文中，我们将分享一些实用工具和技巧，帮助你利用网络科技提高工作效率。 一、云存储 云存储是指将数据存储在互联网上的服务。通过云存储，我们可以随时随地访问自己的文件，避免了传统的文件存储方式需要在不同设备间 ......
爬虫之数据库存储
在对于爬取数量数量较少时，我们可以将爬虫数据保存于CSV文件或者其他格式的文件中，既简单又方便，但是如果需要存储的数据量大，又要频繁访问这些数据时，就应该考虑将数据保存到数据库中了。目前主流的数据库有关系性数据库MySQL，以及非关系性数据库MongoDB和Redis等。这里我先来讲讲MySQL。 ......
mock 接口工具 json-server
背景 由于某个原因公司的内部的内网不给访问，只有一台远程主机 只能在远程主机上调好接口 然后拿到数据格式在本地 mock/fake 数据格式 调试代码 就想到使用假的服务 返回同样的格式的数据 json-server 安装json-server npm install -g npm@9.6.4 np ......
纯电动汽车动力性经济性开发程序 Matlab AppDesigner 汽车性能开发工具
纯电动汽车动力性经济性开发程序 Matlab AppDesigner 汽车性能开发工具 电动汽车动力性计算 电动汽车动力总成匹配 写在前面：汽车动力性经济性仿真常用的仿真工具有AVL Cruise、ameSIM、matlab simulink、carsim等等，但这些软件学习需要付出一定时间成本，有 ......
java简易爬虫Crawler
这是我的第一个java爬虫，比较简单，没有队列，广度优先算法等，用list集合代替了队列。 而且只爬取一个网址上面的图片，并不是将网址中的链接<href>加入队列，然后下载一个网址一个网址下载其中的图片。 不过，这是前期的，处于摸索阶段，后期学完队列和广算后，在涉及一点多线程，肯定会比想象中的更实用 ......
C# SQLHelp工具类
using System; using System.Collections; using System.Collections.Generic; using System.Configuration; using System.Data; using System.Data.SqlClient; ......