爬虫 手段 常见
反爬虫的所有套路和策略
反爬虫是一种防止网络爬虫抓取网站内容的技术。为了保护网站的数据安全，网站管理员采用了各种策略来阻止或限制爬虫的访问。以下是一些常见的反爬虫策略和相应的例子： User-Agent 检查：检查请求头的 User-Agent 字段来识别爬虫。例如，如果 User-Agent 是一个非常规浏览器的标识符， ......
常见的webshell连接工具流量
中国菜刀 连接过程中使用base64编码对发送的指令进行加密，其中两个关键payload z1 和 z2，名字都是可变的。 然后还有一段以QG开头，7J结尾的固定代码。 蚁剑 默认的user-agent请求头是antsword xxx，不过可以修改。 一般将payload进行分段，然后分别进行bas ......
音视频八股文（3）--ffmpeg常见命令（2）
07-ffplay命令播放媒体 播放本地文件 播放本地 MP4 视频文件 test.mp4 的命令，从第 2 秒位置开始播放，播放时长为 10 秒，并且在窗口标题中显示 "test time"： ffplay -window_title "test time" -ss 2 -t 10 -autoex ......
注解的常见分类？
Java自带的标准注解，包括@Override、@Deprecated和@SuppressWarnings，分别用于标明重写某个方法、标明某个类或方法过时、标明要忽略的警告，用这些注解标明后编译器就会进行检查。 元注解，元注解是用于定义注解的注解，包括@Retention、@Target、@Inhe ......
C语言常见的加密库
C语言加密库有很多，以下是一些常见的加密库： OpenSSL：一个功能强大的开源加密库，提供了各种加密算法和协议的实现，包括对称加密、公钥加密、数字签名和证书管理等。 Libsodium：一个现代化的加密库，提供了高级加密、公钥加密、哈希函数等，被广泛用于网络通信、存储和加密货币等领域。 Botan ......
前后端开发的几种常见错误
初学时（个人）——前后端分离常见的一些HTTP响应代码 200： 200一般来说使我们初学者最希望看到的，200代表的了服务端成功处理了我们的请求并得到了回应。重要程度：非常高。 400 400错误是常见的参数类型或参数大小写有误造成的 解决方案通常我们会检查代码中的网络中显示出来，如这个错误是典型 ......
CSS 基础拾遗（核心知识、常见需求）
本篇文章围绕了 CSS 的核心知识点和项目中常见的需求来展开。虽然行文偏长，但较基础，适合初级中级前端阅读，阅读的时候请适当跳过已经掌握的部分。 这篇文章断断续续写了比较久，也参考了许多优秀的文章，但或许文章里还是存在不好或不对的地方，请多多指教，可以评论里直接提出来哈。 核心概念和知识点 语法 C ......
物联网常见协议之Amqp协议及使用场景解析
摘要：本文围绕AMQP协议，为大家详细解析AMQP协议、核心技术亮点、多协议之间的对比以及使用实践。 本文分享自华为云社区《物联网常见协议之Amqp协议及使用场景解析》，作者：张俭。 引言 本文围绕AMQP协议，为大家详细解析AMQP协议、核心技术亮点、多协议之间的对比以及使用实践，并介绍华为云Io ......
润滑油常见三大污染物及检测方法
润滑油被誉为设备的血液，流淌在设备内部，对设备起到润滑减磨、冷却、清洁和防锈等作用。润滑油如果受到污染，会造成润滑失效，设备磨损加剧，进而引起设备故障、缩短设备使用寿命…… 润滑油受到污染是一个复杂的问题，有时候日常检查可以发现，有些情况却不能，有些污染不能通过肉眼观察到。而且，对于所有的污染，等到 ......
船舶机械设备的常见故障及状态监测与诊断技术研究
[导读] 船舶机械的结构复杂，零部件较多，且长期在复杂的自然环境中运行，机械设备容易发生故障，对船舶运行的安全性和可靠性造成影响。 摘要：船舶机械的结构复杂，零部件较多，且长期在复杂的自然环境中运行，机械设备容易发生故障，对船舶运行的安全性和可靠性造成影响。一旦船舶机械设备出现故障，不仅会造成严重的 ......
pyppeteer爬虫
import logging from os.path import exists from os import makedirs import json import asyncio from pyppeteer import launch from pyppeteer.errors import ......
vue实现的常见的动画效果
本文包括的动画： zoom-in zoom-in-left zoom-in-right zoom-in-top zoom-in-bottom zoom-in-center-x zoom-in-center-y slide slide-left slide-right slide-top slide- ......
SQL JOIN的常见连接算法（转载）
原文：https://zhuanlan.zhihu.com/p/495442432 在数据库和大数据领域，通过SQL中的JOIN连接将两个及两个以上的表（或中间表、视图、物化视图）中的数据 按指定的连接条件关联起来，是很常用也很方便的操作。 我们前面学习了JOIN有多种常见连接方式如内连接INNER ......
C# 爬虫 HttpClient 之 https 踩坑记录
###背景 有一个网页（https），请求返回是一串json，可通过模拟浏览器获取，也可以通过api请求获取，其中通过C#的httpclient的Get发起请求，会出现不定时的返回结果乱码 ####请求代码 [HttpPost(Name = "GetTestNoParams")] public as ......
MySQL 中常见的几种高可用架构部署方案
MySQL 中的集群部署方案 前言 MySQL Replication InnoDB Cluster InnoDB ClusterSet InnoDB ReplicaSet MMM MHA Galera Cluster MySQL Cluster MySQL Fabric 参考 MySQL 中的集群 ......
udp编程及udp常见问题处理
前言 UDP协议是User Datagram Protocol的缩写，它是无连接，不可靠的网络协议。一般使用它进行实时性数据的传输，主要是因为它快，但因为它是不可靠的一种传输协议，所以不可避免的会出现丢包现象。本文就具体讨论导致UDP传输数据包丢失的原因以及一些基本的规避方法： 路由器转发造成的数据 ......
【0基础学爬虫】爬虫基础之自动化工具 Selenium 的使用
大数据时代，各行各业对数据采集的需求日益增多，网络爬虫的运用也更为广泛，越来越多的人开始学习网络爬虫这项技术，K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章，为实现从易到难全方位覆盖，特设【0基础学爬虫】专栏，帮助小白快速入门爬虫，本期为自动化工具 Selenium 的使用。 概述 目前，很多网站都 ......
flutter使用Charles代理爬虫
由于flutter的http请求代理不走系统，所以只能在代码中设置代理ip： class MyHttpOverrides extends HttpOverrides { bool _badCertificateCallback(X509Certificate cert, String host, i ......
爬虫常用方法
1. selenium转beautifulsoup: pageSource = driver.page_source soup = BeautifulSoup(pageSource,'html.parser') 2. bs4 查找页面内容： resultPages = soup.find(text= ......
MySQL使用过程中常见问题的解决
问题1：root用户密码忘记，重置的操作、 1:通过任务管理器或者服务管理，关掉mysqld(服务进程) 2:通过命令行+特殊参数开启mysqld mysqld --defaults-file="D:\ProgramFiles\mysql\MySQLServer5.7Data\my.ini" --s ......
踩内存问题定位手段汇总
最近项目中遇到一个全局变量被莫名修改的问题，代码排查了好久居然没发现，确实有些惭愧，这时候使用一些辅助工具帮助定位就很有必要也比较快速精准！全局变量被修改无非就三种原因：1、自己写的代码修改的；2、数组越界导致的；3、变量定义的时候没有初始化； 排查手段：手段一：踩内存周边地址排查排查被踩内存周边地 ......
17-CSS3的常见边框汇总
title: 17-CSS3的常见边框汇总 publish: true CSS3 常见边框汇总 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>CSS3 边框</title> <style> body, ul ......
托福最常见的单词之 academic
adj. 学院的；学术的；理论的 n. 大学生，大学教师；学者 academ- 表示“学术”。 后缀-ic 表形容词，“…的”。 相传Akademos拯救希腊有功，宙斯则分配给他一块地，且众神为这块地祈福保佑，这块地最终是五谷丰登，六畜旺兴特别富饶，而且免于灾荒和战争。 这么一个安静祥和的地方，肯定 ......
记一次excel vba 爬虫实战
基于办公与互联网隔离，自带的office软件没有带本地帮助工具，因此在写vba程序时比较不方便(后来发现07有自带，心中吐血，瞎折腾些什么）。所以想到通过爬虫在官方摘录下来作为参考。 所使工具: python3.7,requests、selenium库 前端方面：使用了jquery、jstree 设 ......
Day 25 25.1 Scrapy框架之全站爬虫(CrawlSpider)
Scrapy框架之全站爬虫(CrawlSpider) 在之前 Scrapy 的基本使用当中，spider 如果要重新发送请求的话，就需要自己解析页面，然后发送请求。 而 CrawlSpider 则可以通过设置 url 条件自动发送请求。 LinkExtractors CrawlSpider 是 Sp ......
Day 25 25.2 Scrapy框架之分布式爬虫(scrapy_redis)
分布式爬虫(scrapy_redis) 分布式爬虫是指将一个大型的爬虫任务分解成多个子任务，由多个爬虫进程或者多台机器同时执行的一种爬虫方式。 在分布式爬虫中，每个爬虫进程或者机器都具有独立的爬取能力，可以独立地爬取指定的网页或者网站，然后将爬取到的数据进行汇总和处理。 分布式爬虫相对于单机爬虫的优 ......
linux几种常见的文件内容查找和替换命令
linux几种常见的文件内容查找和替换命令 https://blog.csdn.net/qq_25992179/article/details/82777486?spm=1001.2101.3001.6650.3&utm_medium=distribute.pc_relevant.none-task ......
2023-04-19 算法面试中常见的递归和回溯问题
递归和回溯 0 递归与回溯的异同 参考文章 递归与回溯 递归与回溯的理解 回溯和递归区别 比较 | | 递归 | 回溯 | | | | | | 定义 | 为了描述问题的某一状态，必须用到该状态的上一状态，而描述上一状态，又必须用到上一状态的上一状态……这种用自已来定义自己的方法，称为递归定义。形式如 ......
扎实打牢数据结构算法根基，从此不怕算法面试系列之008 week01 02-08 通过常见算法，对常见的时间复杂度做梳理
#1、线性查找法的复杂度 public static <E> int search(E [] data,E target){ for (int i = 0; i < data.length; i++) if (data[i].equals(target)) return i; return -1; ......
记录常用的爬虫代码段（长期更新）
判断文件路径不存在创建文件路径 if not osp.exists(path): os.makedirs(path) 去除字符串非法字符，防止创建文件夹报错 #去掉非法字符 pitow = re.sub('[\/:*?"<>|]','-',name) ......