爬虫 优先级 队列 分布式

### 分布式锁 ### 1. 锁 有限资源的情况下，控制同一时间（段）只有某些线程（用户 / 服务器）能访问到资源。 Java 实现锁：synchronized 关键字、并发包的类 问题：只对单个 JVM 有效 ### 2. 分布式锁 为啥需要分布式锁？ - 有限资源的情况下，控制同一时间（ 段） ......

一.顺序队 1.入队判断队满，出队判断队空; 2.顺序队定义时，要注意front、rear是下标，不是指针。 typedef struct{ int data[maxsize]; int rear,front; // front：队头元素的下标。rear：队尾元素的后一个位置的下标(下一个待插入的位 ......

目录 XA模式是什么？ 什么是 Seata 的事务模式？ AT模式是什么？ 为什么Seata要支持XA模式？ AT与XA之间的关系 总结 1. XA模式是什么？ 首先正如煊檍兄所言，了解了什么是XA与什么是Seata定义的事务模式，便一目了然。 1.1 什么是XA 用非常官方的话来说 XA 规范 是 ......

[D - 3N Numbers](https://atcoder.jp/contests/abc062/tasks/arc074_b) [参考](https://blog.csdn.net/awow80285/article/details/101550652) ``` // https://atc ......

1. jmeter分布式压测 1.1 非gui压测 1.1.1 参数 -n：非GUI模式执行Jmeter-t：执行测试文件所在的位置-e：测试结束后，生成html测试报告-o：指定html测试报告存放的位置-l：表示执行结果存放位置-R 可以指定部分压力机列表 -r： 启动远程服务（分布式压测用） ......

etc/hadoop/core-site.xml <configuration> <!-- 指定HDFS中namenode地址--> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop01:9000</value> </property ......

随着业务的增长，文章表可能要占用很大的物理存储空间，为了解决该问题，后期使用数据库分片技术。将一个数据库进行拆分，通过数据库中间件连接。如果数据库中该表选用 ID 自增策略，则可能产生重复的 ID，此时应该使用分布式 ID 生成策略来生成 ID。 ......

## 写在前面 蒟蒻发第二篇博客了！ 作者依然是个新手，~~依然没有脑子~~，因此本文可能存在大量不足之处，还请多多指教。对于各种错误，欢迎批评指正！ ## 队列 队列（`Queue`），是一种数据结构，在STL中可直接调用。具体地来说，队列是一种操作受限的线性表，只允许在表的一端进行插入，而在表的 ......

# python 数据结构之：队列 ## 1 队列简介 - 队列：先进先出 - 应用场景：打印机队列。第一个进入的任务是先完成。如果你是最后一个，你必须等待你前面的所有其他任务打印 ## 2 python 实现队列 - `Queue() `创建一个空的新队列。 它不需要参数，并返回一个空队列。 - ......

当您构建大型 Web 应用程序时，速度是首要考虑的因素。用户不想再等待很长时间才能得到响应，他们也不应该这样做。但有些流程需要时间，而且无法加快或消除。 消息队列通过为通常的请求-响应过程提供额外的分支来帮助解决这个问题。这个额外的分支有助于确保用户能够立即得到响应，并且可以暂时完成耗时的流程。大家 ......

消息队列选型-√ ``` kafka: 优点:吞吐量高，性能高 缺点:功能单一，有丢失消息的风险 rocketMQ: 优点:功能完善，性能好 缺点:客户端仅支持Java ``` RocketMQ事务消息实现-※ RocketMQ底层实现原理-※ 消息队列如何保证可靠传输 ``` 可靠传输:不能多 不 ......

CAP理论与BASE理论-√ ``` CAP: consistent && avaliable && partition tolerance 一致性：整个系统的数据状态应该是一致的，不存在逻辑矛盾的 可用性：整个系统应该保证是可用的 分区容错性：整个系统应当有容灾性能，有哪个节点失效或者哪个服务挂掉 ......

同学吹水，提到了爬虫，于是金工实习回来晚上看了看爬虫 （话说为啥所有爬虫教程前面都是一大串python基础教程啊） ```python import urllib.request #1、定义一个网址url url='http://www.baidu.com' #2、模拟浏览器向服务器发送请求 res ......

分布式ID的使用场景 基于MySql的初步方案 第一次优化：Leaf-segment数据库方案 第二次优化：Leaf-segment 双buffer优化 源码解析双buffer优化方案 背景 在复杂分布式系统中，往往需要对大量的数据和消息进行唯一标识。如在美团点评的金融、支付、餐饮、酒店、猫眼电影等 ......

# 补充 ```python # 软件运行，监听地址 127.0.0.1 只能访问 127.0.0.1 localhost 不能用本机ip地址访问，外部所有人都不能 访问你 0.0.0.0 127.0.0.1 localhost 本机ip地址访问 同一个局域网内，都可以通过ip地址访问 # 本地ho ......

> 示例代码地址：https://gitee.com/gtnotgod/Springcloud-alibaba.git 更详细参考Gitee完整的项目：https://gitee.com/gtnotgod/Springcloud-alibaba.git # 官网下载Nacos > https://n ......

[toc] ## 1 前戏 ``` #介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3） #注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后发起新的 ......

## 一、使用分布式缓存Redis ### （一）分布式缓存和Redis ​ 1、多级缓存 ​ 在一个简单的请求链路中，会经过Nginx、Redis、Tomcat、数据库，其中Nginx、Redis、Tomcat都有缓存存在，这也是常说的多级缓存。 ​ ​ 2、缓存的作用与应用场景 ​ 使用缓存主要 ......

GIL全局解释器锁 Python在设计之初就考虑到要在住循环中，同时只有一个线程在运行 虽然Python解释器中可以‘运行’多个线程，但在任意时刻只有一个线程在解释其中运行 对Python解释器的访问有全局解释器来控制，正是这个锁能保证同一时刻只有一个个线程在运行 1.Python代码运行在解释器上 ......

import scrapy class BlogSpider(scrapy.Spider): name = 'blogspider' start_urls = ['https://www.zyte.com/blog/'] def parse(self, response): for title in ......

本文介绍基于Redis LUA脚本实现分布式锁的具体方案。为了便于在微服务架构的项目中使用，方案以注解切面的方式实现，可单独提炼项目打成jar包。 一、注解 核心注解有两个CacheLock和CacheParam。 @Target(ElementType.METHOD) @Retention(Ret ......

# python下使用redis分布式锁 ### 1.什么场景需要分布式锁? 我们在写业务逻辑的时候，如果多个线程同时访问某个共享变量，一般是对变量进行上锁或者使用 queue.Queue() 实现，以做到线程安全保证数据不被污染。 在单机部署的情况下这样做完全没问题，但是随着业务规模的发展，某些单 ......

只要将配置信息存放在与源代码不同的存储库中，将其锁好，仅对有权访问的人开放，并且管理员能够根据过程、程序和执行人等授予或撤销对相关配置信息的访问权限，那么配置信息也可以存放在版本控制系统中 ......

### 项目预览  ![image](https://img2023.cnblogs.com/blog/ ......

移动端爬虫介绍 爬虫除了 Web 网页，也可以抓取 App 的数据。 为什么要学习移动APP的爬虫？ 公司需求 随机互联网的发展，数据不仅仅只是存在于PC端。移动端的数据在这几年的占比以及势头发展趋势呈现几何倍数的增长。对于做数据分析、用户画像、市场调研来说仅仅参考PC端的数据是远远不够的。 有时w ......

基本原理和不同的实现方式 分布式锁的核心思想就是让大家共用同一把锁，那么我们就能锁住线程，不让线程进行，让程序串行执行，这就是分布式锁的核心思路 可见性：多个线程都能看到相同的结果。 注意：这里说的可见性并不是并发编程中指的内存可见性，只是说多个进程之间都能感知到变化的意思 互斥：互斥是分布式锁的最 ......

1. requests的快速使用 /1 爬虫定义：可见即可爬 /2 安装resquests模块 正确路径下输入 pip install requests /3 用requests发送get请求 import requests # res是响应对象 就是http响应 python包装成了对象（响应头 ......

#1.Pulsar 简介 Pulsar 是一个支持多租户的、高性能的消息中间件；最初是由 Yahoo 研发的开源，分布式pub-sub系统，现在是Apache的一个顶级开源项目 Pulsar 提供了四种订阅类型，它们可以共存在同一个主题上，以订阅名进行区分： - 独享（exclusive）订阅——一 ......

## 1. HBase 分布式部署（进阶中级） #### 1. 实验任务一：部署前期准备 ##### 1.1. 步骤一：安装部署 hadoop ha 分布式环境 ##### 1.2. 步骤二：解压安装文件 ~~~bash [root@master ~]# cd [root@master ~]# ls ......

基本操作 入队： queue.push() queue.push_back()//两者效果相同 出队： queue.pop(); queue.pop_back();//都从尾部操作 考虑两个因素：1.每个参议员的决定都由之后的参议员决定 2.决定禁用之后都不能在投票 queue<int>radian ......