爬虫 手段 常见
线程池常见的工作队列
线程池常见的工作队列有以下几种： 1. 无界队列：使用一个无限制的队列来保存等待执行的任务，直到线程池中的线程可用时才会执行任务。这种队列可以保证任务不会被拒绝，但是可能会导致内存溢出。 2. 有界队列：使用一个固定大小的队列来保存等待执行的任务，如果队列已满，则新提交的任务将被拒绝。这种队列可以避 ......
Java常见操作
1 交换两个变量的操作 eg. public static void main(String[] args) { int m=10; int n=20; System.out.println("m="+m+",n="+n); //交换两个变量的值的操作 int temp=m; m=n; n=temp ......
CSS学习1 认识CSS；三种CSS的编写样式；CSS注释；常见的CSS样式；元素link；CSS颜色表示方法；浏览器开发者工具；浏览器的渲染流程
1_认识CSS what：为网页添加样式（美化界面）；一门样式表语言，不是编程语言 发展历史 css1（两个人合作发布） css2（w3c） css3（模块化持续发展中） 总结：美化HTML，让HTML与CSS分离 方式一：添加样式，例如颜色、字体，大小 方式二：布局，按照某种结构显示 2_三种CS ......
常见的算法浅学一下，二分查找、插入冒泡归并排序
二分查找 二分查找(Binary search)也称折半查找，是一种效率较高的查找方法。但是要求数组必须是有序的。 最好时间复杂度是： O(1)，最好情况下只需要进行1次比较就能找到目标元素 最坏**时间复杂度是： O(log2n)，最坏情况下查找至最后一个元素，或查找不到目标元素 平均**时间复杂 ......
聊聊那些年我们实现java AOP几种常见套路
前言 有一定开发经验的同学对AOP应该很了解吧，如果不了解，可以先查看如下文章进行科普一下https://baike.baidu.com/item/AOP/1332219?fr=aladdin，再来阅读本文。 示例前置准备 注： 本示例基于springboot进行演示 1、在项目pom引入aop的G ......
XML、Jsoup、Java爬虫
什么是XML？ 是一种标记语言，很类似 HTML XML 的设计宗旨是传输数据，而非显示数据 XML的操作类型 1、解析：将xml文档 数据读取到内存中 2、写入：将数据写入xml 解析 XML 方式 DOM：将标记语言文档，一次性加载进内存，在内存中形成一颗dom数 优点：可以像Dom树一样，对文 ......
代理ip在爬虫中的应用
代理IP在爬虫中的应用主要是为了解决以下两个问题： IP封禁问题 很多网站为了防止爬虫，会对频繁访问的IP进行封禁，这样就会导致爬虫无法继续访问。此时，使用代理IP可以隐藏真实IP，从而避免被封禁。 IP限制问题 有些网站会根据IP地址的地理位置进行限制，只允许特定地区的IP进行访问。此时，使用代理 ......
01-爬虫基本知识
爬虫基本知识 学习目标 了解 爬虫的概念 了解 爬虫分类 掌握 爬虫流程 掌握 HTTP基本原理 熟练的使用浏览器开发者工具 socket发送网络请求 一、爬虫的概念 1为什么要学习爬虫 如今我们所处的时代就是一个大数据时代，很多公式都在开展相关数据业务，但是人工智能，大数据中有一个至关重要的东 ......
02-爬虫请求的发送方法
requests发送请 学习目标： 掌握 requests的基本使用 掌握 response常见的属性 掌握 requests模块发送带参数的get请求 能够应用requests发送post请求的方法 能够应用requests模块使用代理的方法 掌握requests处理cookie的三种方法 掌握r ......
python爬虫入门
首先下载爬取网页需要和解析html标签需要的包，并且需要对http协议和html标签有一定了解 http协议之前有份博客总结了一些https://www.cnblogs.com/liyiyang/p/17337925.html pip install requests pip install bea ......
常见的写热点数据优化方案
在MySQL中当对一行数据进行更新时，通常都要加行锁，直到事务提交或回滚时才释放。同一时段内，对于同一个数据行，只有一个事务能够进行更新，其它事务需要等待。 在电商平台业务中，限购、秒杀是常用的促销手段。在这些场景下，大量对热点行的更新请求在极短时间间隔内到达后台数据库系统，必然造成严重的行锁竞争和 ......
操作系统作业常见算法-个人复习用
基础概念： 作业周转时间=作业完成时间–作业提交时间 作业平均周转时间=作业周转时间/作业个数 吞吐量：单位时间内完成作业量 作业调度算法： FCFS先来先服务：按照作业进入系统次序进行调度。 SJF短作业优先调度：对作业调度时间升序排列，优先处理调度时间最短的作业。 进程调度算法： FIFO先进先 ......
后端常见问题解决
MyBatis Plus MP时间自动填充 实体类的时间字段上添加注解 @TableField(fill = FieldFill.INSERT)//用于创建时间create_time字段 @TableField(fill = FieldFill.INSERT_UPDATE)//用于修改时间modif ......
常见算法梳理
前言： 1- 算法的本质就是合理的穷举：无遗漏无冗余； 然后剪枝、空间换时间、空间压缩 2- 回溯算法是在遍历「树枝」，DFS 算法是在遍历「节点」， BFS是从一个点发散，DFS是一个方向深度走下去 一：二分搜索 function binarySearch(arr, target) { let l ......
前端面试题-常见的水平垂直居中实现方案
方案一： <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport" conten ......
爬虫案例 X-Requested-With 异步请求
import requests from copyheaders import headers_raw_to_dict url = 'https://eregpublicsecure.ksrzis.cz/Registr/RZPRO/Osoba' post_url = url + "/GetOsoba ......
【0基础学爬虫】爬虫基础之自动化工具 Pyppeteer 的使用
大数据时代，各行各业对数据采集的需求日益增多，网络爬虫的运用也更为广泛，越来越多的人开始学习网络爬虫这项技术，K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章，为实现从易到难全方位覆盖，特设【0基础学爬虫】专栏，帮助小白快速入门爬虫，本期为自动化工具 Pyppeteer 的使用。 概述 前两期文章中已 ......
爬虫学习基础
第一个爬虫程序,抓取网页源码并保存为html文件 from urllib.request import urlopen url = 'http://www.baidu.com' res = urlopen(url) # print(res.read().decode('utf-8')) with o ......
Golang 网络爬虫框架gocolly
Golang 是一门非常适合编写网络爬虫的语言，它有着高效的并发处理能力和丰富的网络编程库。下面是一个简单的 Golang 网络爬虫示例： package main import ( "fmt" "net/http" "io/ioutil" "regexp" ) func main() { resp ......
java爬虫知识盲区整理
以下是 Java 爬虫的一些知识点： HTTP 协议：Java 爬虫需要了解 HTTP 协议，包括请求方法、请求头、响应码等。 HTML 解析：Java 爬虫需要解析 HTML 页面，获取需要的数据。常用的 HTML 解析库有 Jsoup、HtmlUnit 等。 网络请求库：Java 爬虫需要使用网 ......
Java爬虫可以非常溜
Java 爬虫是一种利用 Java 语言编写的网络爬虫，主要用于从互联网上获取数据。在 Java 中，常用的爬虫框架有 Jsoup、HttpClient、Selenium 等。 其中 Jsoup 是一种解析 HTML 文档的 Java 库，可以方便地进行 HTML 解析和内容提取。HttpClien ......
【故障补牢】贪吃的 Bing 爬虫，限量供应的应对措施
相对于【故障公告】，【故障补牢】分享的是园子在发生故障后采取的亡羊补牢措施。在上次被微软 Bing 爬宕机后，我们采取了2个应对措施，然后解除了对 Bing 爬虫的屏蔽。措施1：限流——采用滑动窗口进行限流。措施2：隔离——专用 pod 限制计算资源、专用负载均衡限制带宽 ......
Python爬虫零基础教学第二天
Python爬虫高级开发/大数据抓取/从入门到精通/商业项目实战（2） 开始时间2023-05-08 21:26:37 结束时间2023-05-08 23:08:20 一、调试模式的介绍 鼠标右键，在出现的选项中找到检查进入调试模式，或者按键盘上的f12键进入调试模式。 二、Cookie 使用coo ......
常见IDE快捷功能汇总
代码编辑 光标返回上一个编辑处Ctrl+Shift+Backspace 格式化代码 包装代码（添加if,while,try-catch等等） 向左/右缩进一个制表位 在上/下方插入新行 上/下移动选中代码 复制一行代码 代码小写转大写Ctrl + Shift+U 将代码抽取为一个方法体 上/下移动方 ......
APP爬虫初阶课程笔记（上）
此笔记内容全部来源于r0ysue大佬的《APP爬虫入门课程》，干货满满，内容硬核详实，我的笔记只是自己学后的心得体会，实际课程内容远多于此，建议大家感兴趣的都去找r0ysue买一个vip会员，你值得拥有~ 101 环境 虚拟机配置 用虚拟机的原因 不会破坏主机 拍快照，试错成本低 重新解压虚拟机，获 ......
5.8之常见网络攻击及防御方法总结（XSS、SQL注入、CSRF攻击）
背景知识 从互联网诞生之初起，无时无刻不存在网络攻击，其中XSS攻击和SQL注入攻击是网站应用攻击的最主要的两种手段，全球大约70%的网站应用攻击都来自XSS攻击和SQL注入攻击。此外，常用的网站应用攻击还包括CSRF、Session劫持等。 XSS 攻击 全称跨站脚本攻击 Cross Site S ......
WEB中间件常见漏洞总结
WEB中间件常见漏洞总结 什么是WEB中间件 是一类提供系统软件和应用软件之间的连接，便于软件各部件之间的沟通的软件，应用软件可以借助中间件在不同的技术架构之间共享信息和资源。中间件位于客户机服务器的操作系统之上，管理着计算资源和网络通信。中间件=平台+通信 一、IIS中间件 1、IIS6.0 PU ......
linux系统根目录下常见目录作用
在Linux下一切皆文件，所有的文件都挂载在一个根文件上。一般有bin、boot、dev等目录。 1.根文件内核启动后挂载的第一个文件系统 2.bin存放系统的二进制命令（cd、ls、rm、mv） 3.bootLinux内核和引导程序所需的目录 4.lib/lib32/ilb64程序运行必要的链接库 ......
Windows 安装 pycrypto 常见问题解决
关于python使用Crypto.Cipher模块，ImportError: No module named 'Crypto' 常见问题解决 1. 需要安装：Microsoft Visual C++ 14.0 error: Microsoft Visual C++ 14.0 is required. ......