爬虫 优先级 队列 分布式
springboot 中使用 RabbitMQ 配置使用优先级队列
RabbitMQ 支持优先级队列，当工作中有一些任务需要紧急优先处理，此时可以使用优先级队列 通过设置 MQ 的 x-max-priority 属性可以将对列设置为优先级队列 配置文件类 @Slf4j @Getter @Configuration public class RabbitMQConfi ......
第 2 章分布式系统中的调度
介绍 在分布式计算中，调度器负责管理传入的容器请求，并确定接下来要运行哪些容器，在哪个节点上运行它们，以及在该节点上并行运行多少个容器。调度器的复杂性各不相同，最简单的调度器具有简单的先进先出 (FIFO) 策略。不同的调度器偏重于各种（某些层面上是相互冲突的）目标，例如： 尽可能充分利用集群资源 ......
nginx location规则以及优先级详解
nginx 配置文件里往往有多个location来区分不同的路径来执行不同的配置 在nginx配置文件中，location主要有这几种形式： 1、~ # 使用波浪符“ ~”区分大小写正则匹配，如 location ~ /abc { } 2、~* #不区分大小写的正则匹配，如 location ~* ......
华为OD机试题 特异性双端队列 or 最小调整顺序次数
本期题目：特异性双端队列 or 最小调整顺序次数 题目 有一个特异性的双端队列，该队列可以从头部到尾部添加数据，但是只能从头部移除数据。 小 A 一次执行 2n 个指令往队列中添加数据和移除数据， 其中 n 个指令是添加数据(可能从头部也可以从尾部添加) 依次添加 1 到 n , n 个指令是移出数 ......
记一次excel vba 爬虫实战
基于办公与互联网隔离，自带的office软件没有带本地帮助工具，因此在写vba程序时比较不方便(后来发现07有自带，心中吐血，瞎折腾些什么）。所以想到通过爬虫在官方摘录下来作为参考。 所使工具: python3.7,requests、selenium库 前端方面：使用了jquery、jstree 设 ......
Nginx的location优先级
在nginx配置文件中，location主要有这几种形式： 语法：location [=|^~|~|~*|@] /uri/ { … } 功能: 根据URI的不同需求进行配置，可以使用字符串与正则表达式匹配。 如果要使用正则表达式，你必须指定下列前缀： ~* 不区分大小写。 ~ 区分大小写。 具体匹配 ......
Day 25 25.2 Scrapy框架之分布式爬虫(scrapy_redis)
分布式爬虫(scrapy_redis) 分布式爬虫是指将一个大型的爬虫任务分解成多个子任务，由多个爬虫进程或者多台机器同时执行的一种爬虫方式。 在分布式爬虫中，每个爬虫进程或者机器都具有独立的爬取能力，可以独立地爬取指定的网页或者网站，然后将爬取到的数据进行汇总和处理。 分布式爬虫相对于单机爬虫的优 ......
Day 25 25.1 Scrapy框架之全站爬虫(CrawlSpider)
Scrapy框架之全站爬虫(CrawlSpider) 在之前 Scrapy 的基本使用当中，spider 如果要重新发送请求的话，就需要自己解析页面，然后发送请求。 而 CrawlSpider 则可以通过设置 url 条件自动发送请求。 LinkExtractors CrawlSpider 是 Sp ......
w4-1 队列安排
方法一： #include <iostream> #include <queue> #include <vector> using namespace std; //究极愚蠢queue+vector模拟 tle int main() { queue<int>a; int N,M,judge,k,x; ......
P2661 [NOIP2015 提高组] 信息传递-拓扑排序+DFS深度优先遍历
有 n 个同学（编号为 1 到 n ）正在玩一个信息传递的游戏。在游戏里每人都有一个固定的信息传递对象，其中，编号为 i 的同学的信息传递对象是编号为 Ti 的同学。
游戏开始时，每人都只知道自己的生日。之后每一轮中，所有人会同时将自己当前所知的生日信息告诉各自的信息传递对象（注意：可能有人可以... ......
记录常用的爬虫代码段（长期更新）
判断文件路径不存在创建文件路径 if not osp.exists(path): os.makedirs(path) 去除字符串非法字符，防止创建文件夹报错 #去掉非法字符 pitow = re.sub('[\/:*?"<>|]','-',name) ......
pathon爬虫实战——爬取某网站的多页番剧内容
（本博客只为技术分学习，无其他用途） 1.准备 涉及的第三方库如下： 2.网页分析 2.1 检验网页 1. 运行浏览器，打开网页，按快捷键F12打开开发者工具，F5刷新页面 2. 在右侧点击Network，打开browser?sort=rank&page=1 文件，可以看到各种信息，查看表头 3. ......
栈和队列
模拟栈 栈相对于开放的数组而言，是访问受限的 栈只允许访问一个数据项，即最后插入的数据项，移除这个数据项后才能访问倒数第二个数据项 栈的特点：先进后出 1 package com.arithmetic.stacksimulation; 2 3 /** 4 * @author 夜神 5 * @desc ......
RabbitMQ队列和交换机的相关知识点
1、关于交换机和队列的autodelete属性 交换机的autodelete属性作用：当属性值设置为true,那么当所有的队列断开于交换机的绑定,那么交换机会自动删除 队列的autodelete属性作用：自动删除队列和普通队列在使用上没有什么区别，唯一的区别是，当所有的相关消费者断开连接时，队列将会 ......
【优先队列】LeetCode 378. 有序矩阵中第 K 小的元素
题目链接 378. 有序矩阵中第 K 小的元素 思路 因为矩阵的每行和每列元素均按升序排序，所以我们可以打破传统思路 代码 class Solution { public int kthSmallest(int[][] matrix, int k) { PriorityQueue<int[]> pr ......
ASP.NET Core - 缓存之分布式缓存
分布式缓存是由多个应用服务器共享的缓存，通常作为访问它的应用服务器的外部服务进行维护。 分布式缓存可以提高 ASP.NET Core 应用的性能和可伸缩性，尤其是当应用由云服务或服务器场托管时。 与其他将缓存数据存储在单个应用服务器上的缓存方案相比，分布式缓存具有多个优势。 当分发缓存数据时，数据： ......
由浅入深详解四种分布式锁
在多线程环境下，为了保证数据的线程安全，锁保证同一时刻，只有一个可以访问和更新共享数据。在单机系统我们可以使用synchronized锁或者Lock锁保证线程安全。synchronized锁是Java提供的一种内置锁，在单个JVM进程中提供线程之间的锁定机制，控制多线程并发。只适用于单机环境下的并发 ......
实现声明式锁，支持分布式锁自定义锁、SpEL和结合事务
工作中遇到事务一般使用声明式事务，一个注解@Transactional搞定。编程式事务则显得略繁琐。 @Autowired private PlatformTransactionManager transactionManager; public void service() throws Exce ......
P1160 队列安排-双链表
一个学校里老师要将班上 N 个同学排成一列，同学被编号为 1∼N，他采取如下的方法：
先将 1 号同学安排进队列，这时队列中只有他一个人；
2∼N 号同学依次入列，编号为 i 的同学入列方式为：老师指定编号为 i 的同学站在编号为 1∼(i−1) 中某位同学（即之前已经入列的同学）的左边或右边；... ......
nginx中的正则表达式，location路径匹配规则和优先级
前言，我这里验证的nginx-v1.23.2单机环境下的nginx中的正则表达式、location路径匹配规则和优先级。先准备好环境，基础配置是这样 nginx/conf/conf.d/host.conf ： server { listen 8081; server_name 10.90.5.70; ......
记一次python写爬虫爬取学校官网的文章
有一位老师想要把官网上有关数字化的文章全部下载下来，于是找到我，使用python来达到目的 首先先查看了文章的网址 获取了网页的源代码发现一个问题，源代码里面没有url，这里的话就需要用到抓包了，因为很明显这里显示的内容是进行了一个请求，所以只能通过抓包先拿到请求的url从而获得每一篇文章对应的ur ......
基于Mongodb分布式锁简单实现，解决定时任务并发执行问题
前言 我们日常开发过程，会有一些定时任务的代码来统计一些系统运行数据，但是我们应用有需要部署多个实例，传统的通过配置文件来控制定时任务是否启动又太过繁琐，而且还经常出错，导致一些异常数据的产生 网上有很多分布式锁的实现方案，基于redis、zk、等有很多，但是我的就是一个用了mysql和mongo的 ......
队列问题
PAT甲级1014 sample input 2 2 7 5 1 2 6 4 3 534 2 3 4 5 6 7 sample output 08:07 08:06 08:10 17:00 Sorry 通过代码 #include<iostream> #include<queue>//队列头文件 #i ......
消息队列简单了解
消息队列简单了解 这消息队列虽然用起来好像很简单，但概念乱七八糟的，还是记一下吧。 作用 消息队列（ MessageQueue，下称 MQ ）的三大作用：解耦、异步、削峰； 解耦 假设现在的一个应用包含多个微服务，其中的 A 服务处理完一个请求后，需要将数据发送给 B、C、D 服务，原本的做法是在代 ......
节点与其祖先之间的最大差值（树，二叉树，深度优先搜索）
1、节点与其祖先之间的最大差值（难度中等） 给定二叉树的根节点 root，找出存在于 不同 节点 A 和 B 之间的最大值 V，其中 V = |A.val - B.val|，且 A 是 B 的祖先。（如果 A 的任何子节点之一为 B，或者 A 的任何子节点是 B 的祖先，那么我们认为 A 是 B 的 ......
微服务 - Redis缓存 · 数据结构 · 持久化 · 分布式 · 高并发
分布式解决 Session 的问题，内存数据库 Redis 特性，单线程IO多路复用，重要配置项，数据类型，常用命令，Redis数据结构，动态字符串 SDS，压缩列表 ziplist，紧凑列表 listpack，跳跃列表 skiplist，持久化 RDB/AOF，分布式集群，虚拟插槽，分布式锁，Lu... ......
Python认识爬虫与反爬虫
爬虫：通过计算机去获取信息，以节约人力成本，不节约的就不需要用了。 反爬虫的最终：区别计算机和人，从而达到，排除计算机的访问，允许人的访问。 最终结论：爬虫与反爬虫都是有尽头的。 爬虫的尽头就是极度模拟用户（自动化）。 反爬虫的尽头就是机器无法识别而人类可以识别的验证码。 所以，省事的话，不如只学一 ......
一种通过编码的反爬虫机制
遇到一个反爬虫机制，该网页为gbk编码网页，但是请求参数中，部分请求使用gbk编码，部分请求使用utf8编码，还设置了一些不进行编码的安全字符，在爬取的过程中形成了阻碍。 提示：在认为参数设置正常，又无法正确爬取数据的情况下，通过response.requests.headers和esponse.r ......