爬虫 优先级 队列 分布式
单调栈和单调队列学习/复习笔记
模板 P5788 【模板】单调栈 目的： 解决一个序列任意的一个数前/后第一个大于/小于他的数的问题。 实现： 首先先把输入的数组读进来 从后向前遍历，手写一个栈，对于扫到的每个元素都与栈顶元素进行比较。若扫到的元素大于等于栈顶元素（由于是手写栈，需要判断栈内是否还有元素，若没有直接加入元素即可）， ......
WebClient实现爬虫 提示 无法从传输连接中读取数据: 远程主机强迫关闭了一个现有的连接
在做爬虫去抓取网上一些信息的时候，有的网站设置了安全策略，导致通过WebClient请求的时候，提示错误：无法从传输连接中读取数据: 远程主机强迫关闭了一个现有的连接。 先看我最初写的代码： public static Task<string> getHtmlByUrl(string url) { ......
队列的API
2023.10.6 1.poll，peek，element 相同点：都是返回队列首个元素 不同点： poll：将首个元素从队列中弹出，如果队列是空的，就返回null peek：查看首个元素，不会移除首个元素，如果队列是空的就返回null element：查看首个元素，不会移除首个元素，如果队列是空的 ......
Redis分布式锁演进架构
分布式锁相信大家一定不会陌生，想要用好或者自己写一个却没那么简单。想要达到上述的条件，一定要 **掌握分布式锁的应用场景**，以及分布式锁的不同实现，不同实现之间有什么区别。 ......
Redis学习之分布式全局id生成
介绍 为什么需要分布式全局 ID 生成器？ 对于订单这种数据，数据库自增的规律性太明显，会暴露一些信息（比如根据昨日和今日的订单号差值看出销量） 数据量过大时，不同表的 id 分别自增，容易出现 id 冲突 分布式全局 ID 生成应满足的特点： 唯一：整个系统每个 id 都是唯一的 递增：虽然不连续 ......
GJOI 2023.10.5 T1 雷老师的正偏态分布
雷老师的正偏态分布 题意：给出一个长度为 \(n\) 的 \(a\) 数组，其中 \(1 \le a_i \le V , 1 \le i \le n\) 。统计其中的满足平均数严格小于中位数且大小为奇数的子集数量，\(n \le 100 , V \le 800\)，时限 \(4\) s 。 输入： ......
分布式事务 —— SpringCloud Alibaba Seata
Seata 简介 传统的单体应用中，业务操作使用同一条连接操作不同的数据表，一旦出现异常就可以整体回滚。随着公司的快速发展、业务需求的变化，单体应用被拆分成微服务应用，原来的单体应用被拆分成多个独立的微服务，分别使用独立的数据源，业务操作需要调用三个服务来完成。此时每个服务内部的数据一致性由本地事务 ......
RabbitMQ 集群搭建和仲裁队列的使用
RabbitMQ 是基于 Erlang 语言开发的，该语言天然支持集群分布式模式，因此部署 RabbitMQ 集群非常简单。 RabbitMQ 的集群部署有两种模式： 普通集群：又称为标准集群，是一种分布式集群，将队列分散到集群的各个节点，提高整个集群的并发能力。 镜像集群：在普通集群的基础上，添加 ......
04_猫狗队列
猫狗队列 【题目】 宠物、狗和猫的类如下： public class Pet { private String type; public Pet(String type) { this.type = type; } public String getPetType() { return this.t ......
分布式事务
目录CAP定义C- Consistency如何实现一致性分布式系统一致性特点A-Avalilability如何实现分布式可用性的特点P-Partition tolerance如何实现特点组合BASE CAP 定义 CAP，3者无法同时满足。 C- Consistency 一致性指写操作后读操作可读到 ......
01. 网络爬虫概述
一、什么是网络爬虫 网络爬虫（又称为网络蜘蛛、网络机器人）可以按照指定的规则（网络爬虫的算法）自动浏览或抓取网络中的信息，通过 Python 可以很轻松地编写爬虫程序或者是脚本。简单的来说，爬虫就是通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。 网络爬虫在法律上是不被禁止的，但它具 ......
RabbitMQ 死信交换机、延迟队列、惰性队列
如果一个队列设置了死信交换机，该队列的消息就有了极大的可靠性保障，当出现以下情况时，消息就会投递到死信交换机中： 队列中的消息在被消费者处理后，抛出异常，返回了 nack 或者 reject 如果队列设置了 ttl 或者消息本身设置了 ttl ，消息因为超时而未消费 队列容量已经满了，后续发来的消息 ......
Celery将任务分发到不同的队列，交给不同的Worker处理
https://docs.celeryq.dev/en/stable/userguide/routing.html#routing-tasks https://blog.csdn.net/wanglei_storage/article/details/130029916 https://www.cn ......
跟着思兼学习Klipper(25)提高 Klipper 进程优先级减少报错
前言 原创文章，转载引用请务必注明链接，水平有限，如有疏漏，欢迎指正交流。 文章如有更新请访问 DFRobot 社区 或者 cnblogs 博客园。 欢迎对 Klipper 固件，以及对改版 CNC 加工的 Voron 三叉戟、v0、v2.4 感兴趣的朋友加群交流（QQ Group：49011163 ......
分布律，概率分布函数，概率密度函数
1. 分布律 定义 分布律只针对离散型随机变量，连续型没有 设离散型随机变量可能取值为\(x_k(k=1,2,...)\),事件\(\{X=x_k\}\)的概率为离散型随机变量\(X\)的分布律，记作\(P\{X=x_k\} = p_k,k=1,2...\) 性质 \(p_k>=0\) 。\(p_k ......
几何分布和超几何分布
几何分布 定义 在独立重复试验中，实验次数预先不能确定，设每次实验成功的概率为p,将实验进行到成功一次为止，以\(X\)表示所需的实验次数，则\(X\)的分布律为 \[P\{X=k\}=(1-p)^{k-1}p,k=1,2,3... \]称随机变量\(X\)服从参数为\(p\)的几何分布 例 设某篮 ......
C++类内存分布+ Studio工具
书上类继承相关章节到这里就结束了，这里不妨说下C++内存分布结构，我们来看看编译器是怎么处理类成员内存分布的，特别是在继承、虚函数存在的情况下。 工欲善其事，必先利其器，我们先用好Visual Studio工具，像下面这样一步一步来： 先选择左侧的C/C++->命令行，然后在其他选项这里写上/d1 ......
[数据结构和算法] 堆/优先队列的实现
预备知识： 完全二叉树可以用数组表示： 从下标0开始存储数据：左子节点 = 2 * 父节点 + 1，右子节点 = 2 * 父节点 + 2； 从下标1开始存储数据：左子结点 = 2 * 父节点，右子节点= 2 * 父节点 + 1； 堆： 大根堆：父节点的值大于等于左右子节点的值； 小根堆：父节点的值小 ......
【数据结构】2.栈和队列
1.栈 1.1栈的抽象父类 #pragma once template<class T> class Stack { public: // 析构函数 virtual ~Stack() {} // 栈是否为空 virtual bool empty() const = 0; // 栈的大小 virtua ......
FreeRTOS 原理 --- 队列
队列是任务到任务、任务到中断、中断到任务数据交流的一种机制（固定长度消息传递）。 队列的优点： 不同任务之间的读写队列操作是互斥的（通过关中断实现） 读写队列由阻塞唤醒机制，阻塞的任务不抢占CPU资源（比如读队列，发现队列空，阻塞当前任务，除非其他任务有写队列，否则当前任务不再占用CPU资源） 队列 ......
Leaf-美团的分布式ID生成器
简介 在复杂分布式系统中，往往需要对大量的数据和消息进行唯一标识。如在美团点评的金融、支付、餐饮、酒店、猫眼电影等产品的系统中，数据日渐增长，对数据分库分表后需要有一个唯一ID来标识一条数据或消息，数据库的自增ID显然不能满足需求；特别一点的如订单、骑手、优惠券也都需要有唯一ID做标识。此时一个能够 ......
爬虫基础
1. 爬虫的概念模拟浏览器，发送请求，获取响应网络爬虫就是模拟客户端发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。原则上,只要是客户端(浏览器)能做的事情，爬虫都能够做爬虫也只能获取客户端(浏览器)所展示出来的数据 2. 爬虫的作用作用很多，例如：数据采集： 机器学习舆 ......
爬虫概要
1. 知识碎片化要有足够的知识储备2. 学习难度先轻后重爬虫是和开发运维的技术对抗，有价值的数据的爬取还是比较困难的。需要技术功底扎实。3. 学习特点案例分散，需要触类旁通。多练习。4. 后续发展不断学习新知识，掌握新技巧。5. 法律层面把握好法律和道德底线，不要越过红线。 ......
Redis实现分布式锁
一、分布式锁 参考资料： www.cnblogs.com/wangyingshu… 很多场景中，需要使用分布式事务、分布式锁等技术来保证数据最终一致性。有的时候，我们需要保证某一方法同一时刻只能被一个线程执行。 在单机（单进程）环境中，JAVA提供了很多并发相关API，但在多机（多进程）环境中就无能 ......
U362815 GSEP 5级样题 小杨的队列
GSEP 5级样题 小杨的队列 题目描述 小杨的班级里共有 N 名同学，学号从 0 至 N - 1。 某节课上，老师要求同学们进行列队。具体来说，老师会依次点名 $M$ 名同学，让他们加入队伍。每名新入队的同学需要先站到队伍末尾（刚开始队伍里一个人都没有，所以第一个入队的同学只需要站好即可），随后， ......
python爬虫请求头键值对批量加引号
原始数据： from: en to: zh query: love transtype: realtime simple_means_flag: 3 sign: 198772.518981 token: 1b434ed1e595135ac1b2959f4430a51f domain: common ......
Laxcus分布式操作系统相比Linux操作系统的优势
一位微信网友的提问：LAXCUS分布式操作系统和LINUX操作系统相比，有什么优势？ 答：LAXCUS分布式操作系统做为一种新型的多机操作系统，是操作系统家族的新物种。它最大的特点是聚合能力，能够将海量的物理计算机集合到一起，变成一台物理分散逻辑统一的单台计算机，在此基础上，实现超大规模算力的统一输 ......
多重背包单调队列优化
引用自：动态规划-背包问题(01背包、完全背包、多重背包) #include<cstdio> #include<algorithm> #include<cstring> using namespace std; const int maxn = 100005; int n, m, cnt; int ......