爬虫 优先级 队列 分布式
分布式事务的21种武器 - 4
>*在分布式系统中，事务的处理分布在不同组件、服务中，因此分布式事务的ACID保障面临着一些特殊难点。本系列文章介绍了21种分布式事务设计模式，并分析其实现原理和优缺点，在面对具体分布式事务问题时，可以选择合适的模式进行处理。原文: [Exploring Solutions for Distribu ......
分布式事务的21种武器 - 1
>*在分布式系统中，事务的处理分布在不同组件、服务中，因此分布式事务的ACID保障面临着一些特殊难点。本系列文章介绍了21种分布式事务设计模式，并分析其实现原理和优缺点，在面对具体分布式事务问题时，可以选择合适的模式进行处理。原文: [Exploring Solutions for Distribu ......
Python 自动化爬虫利器 Playwright
# Python 自动化爬虫利器 Playwright Python Playwright 是一个基于 Node.js 的自动化测试库，它支持多种浏览器（Chrome、Firefox、Safari、Edge等），并提供了一些方便的 API 来模拟用户在浏览器中的行为。本篇将介绍 Python Pla ......
分布式事务的21种武器 - 3
>*在分布式系统中，事务的处理分布在不同组件、服务中，因此分布式事务的ACID保障面临着一些特殊难点。本系列文章介绍了21种分布式事务设计模式，并分析其实现原理和优缺点，在面对具体分布式事务问题时，可以选择合适的模式进行处理。原文: [Exploring Solutions for Distribu ......
SpringCloud config分布式配置 访问远程仓库gitee
服务端远程连接gitee上的配置文件 1.导包 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XM ......
集群、服务、微服务、分布式
先说集群： 可以理解为一批部署了相同服务的机器，这些机器的集合就是集群。 为啥要使用集群部署，因为当一款应用或软件使用人数越来越多，流量越来越大的时候，单台机器的资源已经无法满足使用需求，这时候就要加机器，现在硬件很便宜，集群的数量可以很庞大，他们之前相互配合工作，就能处理大量的用户请求，当然这中间 ......
5_24_打卡_数据结构之循环队列
循环队列可存储数据数量是maxsize-1 队列长度为（front-rear+maxsize）%maxsize 队列为空时front==rear 队列满时 （front+1）%maxsize==rear； ``` #define MAXSIZE 5 #include using namespace ......
优先队列---priority_queue
代码： #include<bits/stdc++.h> using namespace std; priority_queue<int> q; //优先队列，每次将最大值放在队首，通过push取出队首元素；若要取最小值，将入队元素变为负数即可 int a,b,c,max1,min1,min2; in ......
消息队列中间件（RabbitMQ）
# 说明 这篇文章是自己 Rabbitmq 的入门学习的记录。 # 预备知识 > **栈**（Stack） 是只允许在一端进行插入或删除的[线性表](https://so.csdn.net/so/search?q=线性表&spm=1001.2101.3001.7020)。栈又称为**后进先出**（L ......
爬虫为什么会使用到代理ip？
爬虫使用代理IP的主要目的是为了隐藏自己的真实IP地址，以避免被目标网站封禁或限制访问。如果一个爬虫频繁地向一个网站发送请求，而且每次请求的IP地址都相同，那么这个网站就有可能认为这是一种恶意行为，从而采取封禁或限制访问的措施。使用代理IP可以让爬虫在每次请求时使用不同的IP地址，从而降低被封禁或限 ......
Python爬虫为什么需要库
爬虫需要库是因为爬虫需要从网页中提取数据，并对数据进行处理和存储。库是一组已经封装好的工具，可以帮助爬虫快速地完成这些任务。这些库可以大大简化爬虫的开发过程，提高爬虫的效率和稳定性。 Python爬虫常用的库有很多，以下是一些常用的库： 1、requests：用于发送HTTP请求，获取网页内容。 2 ......
爬虫——服务器渲染和客户端渲染
# xxxx爬虫——服务器渲染和客户端渲染 [toc] ## 服务器渲染 - 专业解释 服务器渲染（Server-Side Rendering，SSR）是一种在服务器端完成页面渲染的网页处理技术。具体来说，就是服务器在响应客户端请求时，会生成页面的HTML代码，并将其返回给客户端。这种方式的优点包括 ......
【ubuntu】jmeter分布式部署
1、起因 由于系统并发预期的吞吐量在8000左右， 自己的win10以及另一台win10根本吃不住这个并发jmeter资源，想继续增加并发是不可能了，所以只能搞到公司的服务器上，不然没法出报告啊 2、部署环境 咱就搞三个执行机 3、分别安装部署JDK和Jmeter https://www.cnblo ......
分布式事务的21种武器 - 2
>*在分布式系统中，事务的处理分布在不同组件、服务中，因此分布式事务的ACID保障面临着一些特殊难点。本系列文章介绍了21种分布式事务设计模式，并分析其实现原理和优缺点，在面对具体分布式事务问题时，可以选择合适的模式进行处理。原文: [Exploring Solutions for Distribu ......
素数分布
###题目链接 https://ac.nowcoder.com/acm/contest/19306/1014 ###解题思路 第一次听说素数分布这个东西，所以想记下来。 **素数分布函数π(n)表示小于或等于n的素数的数目。例如π(10)=4（2,3,5,7是素数）。** ###AC代码 ```c+ ......
分布式文件系统GFS
# 0.简介 文件系统应该具有的接口： - 基本接口：创建（Create）、删除（Delete）、打开（Open）、关闭（Close）、读取（Read）、写入（Write） 对于打开和关闭我们可以把它理解成读取与写入的前置和后置动作，在GFS中不必太多关注它。 - 拓展的接口：生成快照（Snapsh ......
windows通过命令行设置进程优先级
针对进程的就通过这6个优先级来控制 图形界面可以通过任务管理器操作，也可以通过其他软件 cmd命令行示例： wmic process where name="process name" CALL setpriority "value" wmic process where name="firefox ......
Yii2-app-advanced的配置文件优先级
Yii2高级模板中支持多套环境配置，并且有优先级重写覆盖 默认有两种dev和prod，在应用目录 environments 下 Yii2中的config配置文件（main.php 和 params.php）具有极大的灵活配置，结合配置文件的加载顺序 1、使用约定 - 应用目录下有 config/ma ......
007rabbitmq消息队列分部不均衡问题
一、问题 (1)队列全部都跑在了rabbitmq-master节点上,假如这个节点挂掉会造成数据丢失(数据是否持久化看publisher写入消息的时候是否设置持久化) (2)解决方案 <1>设置镜像队列 https://support.huaweicloud.com/usermanual-rabbi ......
Python多线程爬虫又来了
Python多线程的主要好处是可以在单个程序中同时执行多个任务，从而提高应用程序的性能和效率。具体来说，多线程有以下几个优点： 提高CPU利用率：通过多线程，可以更充分地利用CPU资源，尤其适用于计算密集型的任务。 降低IO阻塞：对于需要等待IO操作完成的任务（如网络请求或文件读写），将它们放入单独 ......
代码随想录算法训练营第14天 | ● 理论基础 ● 递归遍历 ● 迭代遍历 ● 统一迭代 - 第5章 栈与队列part04
第六章 二叉树part01 今日内容： ● 理论基础 ● 递归遍历 ● 迭代遍历 ● 统一迭代 详细布置 理论基础 需要了解 二叉树的种类，存储方式，遍历方式 以及二叉树的定义 文章讲解：https://programmercarl.com/%E4%BA%8C%E5%8F%89%E6%A0%91%E ......
代码随想录算法训练营第13天 | ● 239. 滑动窗口最大值 ● 347.前 K 个高频元素 ● 总结 - 第5章 栈与队列part03
第五章 栈与队列part03 今日内容： ● 239. 滑动窗口最大值 ● 347.前 K 个高频元素 ● 总结 详细布置 239. 滑动窗口最大值 （一刷至少需要理解思路） 之前讲的都是栈的应用，这次该是队列的应用了。 本题算比较有难度的，需要自己去构造单调队列，建议先看视频来理解。 题目链接/文 ......
代码随想录算法训练营第10天 | ● 理论基础 ● 232.用栈实现队列 ● 225. 用队列实现栈 - 第5章 栈与队列part01
第五章 栈与队列part01 ● day 1 任务以及具体安排：训练营一期day 1 ● day 2 任务以及具体安排：day 2 第一章数组 ● day 3 任务以及具体安排：day 3 第二章 链表 ● day 4 任务以及具体安排：day 4 第二章 链表 ● day 5 周日休息 ● day ......
代码随想录算法训练营第11天 | ● 20. 有效的括号 ● 1047. 删除字符串中的所有相邻重复项 ● 150. 逆波兰表达式求值 - 第5章 栈与队列part02
第五章 栈与队列part02 今日内容： ● 20. 有效的括号 ● 1047. 删除字符串中的所有相邻重复项 ● 150. 逆波兰表达式求值 详细布置 20. 有效的括号 讲完了栈实现队列，队列实现栈，接下来就是栈的经典应用了。 大家先自己思考一下 有哪些不匹配的场景，在看视频 我讲的都有哪些场景 ......
Git 分布式版本控制工具
# Git 分布式版本控制工具 ## 概述 ### 开发中的实际场景 - 备份 - 代码还原 - 协同开发 - 追溯代码的编写人和编写时间 ### 版本控制器的方式 - 集中式版本控制工具：版本库放在中央服务器，使用时需联网下载。 - 分布式版本控制器：每个节点都有完整的版本库，多人协作只需要推送各 ......
Delphi - 简单实现 优先队列
由于Delphi官方没有实现优先队列容器，我自己也懒得用二叉堆去实现，这里用List简单实现一个优先队列； unit Unit3; interface uses Winapi.Windows, Winapi.Messages, System.SysUtils, System.Variants, Sy ......
分布式任务调度：xxl-job
一、XXL-JOB概述 官方GitHub地址：https://github.com/xuxueli/xxl-job 中文文档地址：https://www.xuxueli.com/xxl-job 1.1、什么是xxl-job XXL-JOB 是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单 ......
docker部署分布式minio集群文件服务器
1. 环境准备 准备4台服务器，3台服务器做minio集群，一台服务器做minio的nginx 入口服务器 IP 服务 操作系统 192.168.0.165 Minio-Nginx CentOS 7.9 192.168.0.109 Minio-1 CentOS 7.9 192.168.0.114 M ......
新手如何学习爬虫
作为一种常见的网络技术，网络爬虫有很多相关的资源可以帮助新手学习。以下是一些有效的学习路径和资源： 1、爬虫基础知识 网络爬虫的基础知识包括 HTTP 协议、HTML/CSS/JavaScript，以及 Python等编程语言的基础语法和库等。 2、掌握 Python 编程 Python 是网络爬虫 ......
DolohinScheduler 分布式任务调度框架 代码流程分解
一、DS-API模块 ```java - 执行工作流 - 定时任务执行 更新 schedule 参数 -/schedule 新增 schedule 参数 做了什么事？ 将schedule参数 用ScheduleParam类进行解析 有效性校验，而后解析保存到 t_ds_schedules 表内，更新 ......