爬虫 优先级 队列 分布式
爬虫各种问题总结方案
### selenium报错 - selenium.common.exceptions.ElementNotInteractableException: Message: element not interactable 可能是代码中没有全屏，元素没有加载全 ``` baiduweb = webdr ......
字符串，列表的内置方法(增加、修改、删除) 、可变类型与不可变类型 、字典 ，元组，集合的内置方法、队列和栈的概念
### 字符串的内置方法(较多，重要) ```python old_code = 'KeViN' print('这是返回给用户的验证码: %s' % old_code) new_code = input('请输入你的验证码：').strip() print(new_code) # 对验证码作一个判断 ......
Scrapyd、scrapyd-client部署爬虫项目
命令参考：[https://github.com/scrapy/scrapyd-client](https://github.com/scrapy/scrapyd-client) [https://scrapyd.readthedocs.io](https://scrapyd.readthedocs ......
Scrapy如何在启动时向爬虫传递参数
**高级方法：** **一般方法：** 运行爬虫时使用-a传递参数 ```Bash scrapy crawl 爬虫名 -a key=values ``` 然后在爬虫类的__init__魔法方法中获取kwargs ```Python class Bang123Spider(RedisCrawlSpid ......
Scrapy-redis组件，实现分布式爬虫
安装包 ```Python pip install -U scrapy-redis ``` settings.py ```Python ##### Scrapy-Redis ##### ### Scrapy指定Redis 配置 ### # 其他默认配置在scrapy_redis.default.py ......
Scrapy-CrawlSpider爬虫类使用案例
CrawlSpider类型的爬虫会根据指定的rules规则自动找到url比自动爬取。 优点：适合整站爬取，自动翻页爬取 缺点：比较难以通过meta传参，只适合一个页面就能拿完数据的。 ```Python import scrapy from scrapy.http import HtmlRespon ......
Scrapy如何在爬虫类中导入settings配置
假设我们在settings.py定义了一个IP地址池 ```Bash ##### 自定义设置 IP_PROXY_POOL = ( "127.0.0.1:6789", "127.0.0.1:6789", "127.0.0.1:6789", "127.0.0.1:6789", ) ``` 要在爬虫文件中 ......
Scrapy爬虫文件代码基本认识和细节解释
```Python import scrapy from scrapy.http.request import Request from scrapy.http.response.html import HtmlResponse from scrapy_demo.items import Forum ......
Scrapy创建项目、爬虫文件
# 创建项目 **执行命令** ```Bash scrapy startproject ``` # **项目结构**  # 1. 水平扩展 ## 1.1. 有助于提高系统的整体容量和韧性 ## 1.2. 现阶段构建的几乎所有系统，都 ......
C语言运算符优先级和结合性一览表及一些运算符的运算过程
## 1、优先级 那么**“结合性”** 是什么呢？ **优先级**都是关于优先级不同的运算符参与运算时先计算谁后计算谁。但是如果运算符的优先级相同，那么先计算谁后计算谁呢？这个就是由“结合性”决定的。 >C语言运算符优先级和结合性一览表参考如下： [优先级和结合性一览表](http://c.bia ......
2023.7.16 linux 软中断Softirqs 队列 Workqueues 并发管理队列cmwq
Implementing work-deferring mechanisms 延期任务 Softirqs: Executed in an atomic context # kernel/softirq.c ; <linux/interrupt.h>. Tasklets: Executed in an ......
爬虫 | <Response [418]>原因
在我们调用`requests.get(网址)`访问网页时，输出为``。是什么原因呢？ 如下运行代码： ```python # 导入访问网页要用的库 import requests # 申明一个变量存储网址 # 网址是一个字符串变量，注意网址前后都必须有引号 url = 'https://movie. ......
Java开发大型互联网-架构师必须掌握的分布式技术
Java开发大型互联网-架构师必须掌握的分布式技术 摘要：在当今互联网行业，随着用户量和业务的不断增长，大型互联网系统的设计和开发已经成为了一项头等重要的任务。作为架构师，要能够应对这样的挑战，就必须掌握一些关键的分布式技术。本文将介绍Java开发大型互联网系统时，架构师必须要掌握的分布式技术。 一 ......
高级java高并发，高性能，分布式，高可用，负载均衡，系统架构实战
提到锁，大家肯定想到的是sychronized关键字。是用它可以解决一切并发问题，但是，对于系统吞吐量要求更高的话，我们这提供几个小技巧。帮助大家减小锁颗粒度，提高并发能力。 初级技巧-乐观锁乐观锁使用的场景是，读不会冲突，写会冲突。同时读的频率远大于写。 悲观锁的实现： 悲观的认为所有代码执行都会 ......
卡方检验与卡方分布
卡方检验的公式如下： 1. 计算观察频数（Observed Frequencies）和期望频数（Expected Frequencies）： 观察频数（O）：实际观测到的数据中每个类别的频数。 期望频数（E）：根据假设的独立性，在每个类别中预期的频数。 2. 计算卡方统计量（Chi-square S ......
线性表——栈与队列
栈 栈（stack）：先进后出，后进先出的数据结构。 栈是限定仅在表尾进行插入和删除操作的线性表。我们把允许插入和删除的一端称为栈顶（top），另一端称为栈底（bottom），不含任何数据元素的栈称为空栈。栈又称为后进先出（Last In First Out）的线性表，简称LIFO结构。需要注意，栈 ......
Redis分布式锁问题
通过SET原子操作来设置key和过期时间 // 加锁// 如果key不存在，那么设置它的值，否则什么也不做SETNX lock 1// 10s后自动过期EXPIRE lock 10 // 2者合一，一条命令保证原子性执行SET lock 1 EX 10 NX 问题1：无法评估准确的加锁时间（自动续期 ......
微服务或分布式场景，如何设计和使用分布式锁
光谈论方式的话，太多了，数据库、jvm内存、redis、zookeeper都可以，最常用的是基于redis实现的redission框架 核心原理众多博客讲的很清楚，面试说个大概应该没问题了 第一点，用的reids的setex命令，因为这个命令是原子操作，不会在设置锁的过程中出现意外 第二点，锁过期问 ......
消息队列基础
消息队列本质是将同步处理转成异步处理 消息队列的基本要求不丢消息高可用高性能 消息队列名称 RabbitMQ RocketMQ Kafka 优点 轻量级 低延迟和高稳定性 1. 与周边生态系统的兼容性最好 2. 基于异步批量设计的异步收发性能最好 缺点 1. 消息大量堆积时性能大幅下降 2. 使用的 ......
读发布！设计与部署稳定的分布式系统（第2版）笔记23_互联层之DNS
 # 1. 互连层是可以真正构建高可用性的地方 ## 1.1. 流量管理 ## 1.2. 负载均衡 ## 1.3. ......
python爬虫抓取小说
我这里是使用的**requests**模块和**re**(正则)模块 可以模仿浏览器正常访问网页返回网页源码的方式，通过正则获取到小说的名字，以及每个章节名称和对应的网页链接，并将小说正文截取出来，写入到文本中，具体代码实现如下： ``` # 导入requests模块 import requests ......
队列
队列（Queue） 是 先进先出 (FIFO，First In, First Out) 的线性表 对头出，队尾进 4.3. 常见应用场景 当我们需要按照一定顺序来处理数据的时候可以考虑使用队列这个数据结构。 阻塞队列： 阻塞队列可以看成在队列基础上加了阻塞操作的队列。当队列为空的时候，出队操作阻塞， ......
聊聊我认为的分布式、集群实现关键点
基于常见的中间件(Mysql、ElasticSearch、Zookeeper、Kafka、Redis)等分布式集群设计的机制，自己总结了在在集群设计过程中需要考虑的通用问题。 ### 节点通信机制 主节点的增加、删除、通信机制。 ### 路由算法 即数据路由到哪个节点的策略机制。在集群内有多个节点， ......
优先队列（基于二叉树的堆）
代码出处 Go SDK container/heap/heap.go Interface 接口定义 type Interface interface { sort.Interface Push(x interface{}) // add x as element Len() Pop() interf ......
推荐一款.NET开源的轻量级分布式服务框架
前言 今天要给大家推荐一款由新生命开发团队开源的.NET轻量级分布式服务框架：星尘分布式平台（NewLife.Stardust）。 项目介绍 星尘是一个轻量级分布式服务框架。它的功能包含配置中心、集群管理、远程自动发布、服务治理、服务自动注册和发现、负载均衡、动态伸缩、故障转移、性能监控。 核心功能 ......
「爬虫04」selenium
## 1 selenium等待元素加载 ```python # 程序执行速度很快 》获取标签 》标签还没加载好 》直接去拿会报错 # 显示等待：当你要找一个标签的时候，给它加单独加等待时间 # 隐士等待：只要写一行，代码中查找标签，如果标签没加载好，会自动等待 browser.implicitly_ ......
rabbitMQ死信队列和延迟交换机
一、死信队列（deadLetters） 1.死信产生的三种方式 （1）消息被消费者拒绝，requeue设置为false message在正常传输中消费者执行了nack或者reject且requeue变为false则将该message存储到死信交换机，再送入死信队列，重新被其他的消费者消费 （2）消息 ......