爬虫 优先级 队列 分布式
分布式计算技术（上）：经典计算框架MapReduce、Spark 解析
当一个计算任务过于复杂不能被一台服务器独立完成的时候，我们就需要分布式计算。分布式计算技术将一个大型任务切分为多个更小的任务，用多台计算机通过网络组装起来后，将每个小任务交给一些服务器来独立完成，最终完成这个复杂的计算任务。本篇我们介绍两个经典的计算框架MapReduce和Spark。 — MapR ......
python网络爬虫
一、爬虫的基本思路 打开网页：requests / urllib 找到需要的信息：标签 / xpath / jsonpath / ... 获取和存储信息：json文档 二、网页的分类 1. 静态网页 源代码中包含需要的信息 国务院办公厅关于印发"十四五"国民健康规划的通知 爬取方式：直接从源代码中提 ......
分布式存储技术（下）：宽表存储与全文搜索引擎的架构原理、特性、优缺点解析
对于写密集型应用，每天写入量巨大，数据增长量无法预估，且对性能和可靠性要求非常高，普通关系型数据库无法满足其需求。对于全文搜索和数据分析这类对查询性能要求极高的场景也是如此。为了进一步满足上面两类场景的需求，有了宽表存储和搜索引擎技术，本文将对他们的架构、原理、优缺点做介绍。 — 宽表存储 — 宽表 ......
【Java 并发】【十】【JUC数据结构】【六】SynchronousQueue同步阻塞队列原理
1 前言 看过了LinkedBlockingQueue、ArrayBlockingQueue、DelayQueue等阻塞队列，这节我们又要看一个不一样的队列，SynchronousQueue同步阻塞队列。 2 SynchronousQueue是什么 SynchronousQueue的同步队列，使用的 ......
ZooKeeper分布式应用程序协调服务
目录 一.ZooKeeper基本介绍 1.ZooKeeper是什么？ 2.ZooKeeper的工作机制 3.ZooKeeper的特点 4.ZooKeeper的数据结构 5.ZooKeeper的应用场景 5.1 统一命名服务 5.2 统一配置管理 5.3 统一集群管理 5.4 服务器动态上下线 5.5 ......
【Java 并发】【十】【JUC数据结构】【五】DelayQueue延迟阻塞队列原理
1 前言 前两节我们看了BlockingQueue阻塞队列的两个子类，LinkedBlockingQueue、ArrayBlockingQueue，它们都是使用了ReentrantLock、Condition的来实现的，在进行插入操作、拉取数据操作之前为了并发安全都需要进行加锁；然后插入时候在容量满 ......
Zookeeper分布式服务协调组件
Zookeeper分布式服务协调组件 1.简介 Zookeeper是一个分布式服务协调组件，是Hadoop、Hbase、Kafka重要的依赖组件，为分布式应用提供一致性服务的组件。 Zookeeper是Hadoop、HBase、Kafka的重要依赖组件。 Zookeeper主要包含文件系统以及通知机 ......
爬虫最后一天,爬取到的数据存到mysql中，爬虫和下载中间件、加代理、cookie、header、selenium、随机生成uersagent、去重规则源码分析(布隆过滤器)、scrapy-redis实现分布式爬虫、扩展去重规则
==爬到的数据存到mysql中== class FirstscrapyMySqlPipeline: def open_spider(self, spider): print('我开了') self.conn = pymysql.connect( user='root', password="", h ......
分布式事务相关
###1.有遇到分布式事务？ 在RPC远程调用过程中，A调用B服务的接口后，A接口报错，无法回滚B接口的事务，最终造成A事务回滚，B事务没有回滚。 注：在单体架构中，如果存在多数据源，每个数据源都有自己独立的事务管理器，那么这时也会存在多数据源事务管理分布式事务的问题。解决方案：jta+Atomik ......
【Java 并发】【十】【JUC数据结构】【三】LinkedBlockingQueue阻塞队列原理
1 前言 这节我们就来看看LinkedBlockingQueue内部实现的原理。 2 LinkedBlockingQueue的使用 在看原理之前我们先来用一用LinkedBlockingQueue，来体验一下： 2.1 插入数据 public class LinkedBlockingQueueTes ......
js异步——事件循环和消息队列
前言 上篇文章中介绍了多进程的浏览器基本架构，现在，我们来谈谈单线程的 JS 代码、消息队列、事件循环、微任务和宏任务。 单线程的 JavaScript 什么是单线程 js？ 如果你已经仔细阅读过上一篇文章，那么答案是显而易见的：由于浏览器是由渲染进程的主线程来执行 js 代码的，换句话说，js的运 ......
【Java 并发】【十】【JUC数据结构】【二】BlockingQueue阻塞队列原理
1 前言 这节我们就来看看BlockingQueue阻塞队列是什么都有哪些具体实现。 2 BlockingQueue阻塞队列是什么 BlockingQueue阻塞队列，它是一个提供阻塞功能的队列容器。首先它是一个队列容器，能够存储东西，提供数据入队功能，进行数据存入；提供数据取出功能，进行出队，如下 ......
什么是爬虫
什么是爬虫 伪装成浏览器与服务器进行数据交互的自动化程序 我找你要，你给我给 爬虫的分类 通用爬虫 聚焦爬虫 如何伪装？ User-Agent：产生请求的浏览器类型; referer：防盗链，页面跳转处，表明产生请求的网页来自于哪个URL，告诉服务器我是从哪个链接过来的 Host：请求的主机名，允许 ......
什么是网络爬虫？有什么用？怎么爬？
以前常听见爬取这个名词，今天搜了搜，展示如下： 导读：网络爬虫也叫做网络机器人，可以代替人们自动地在互联网中进行数据信息的采集与整理。在大数据时代，信息的采集是一项重要的工作，如果单纯靠人力进行信息采集，不仅低效繁琐，搜集的成本也会提高。 此时，我们可以使用网络爬虫对数据信息进行自动采集，比如应用于 ......
scrapy爬虫框架（七）Extension的使用
一、简介 Scrapy提供了一个Extension机制，可以让我们添加和扩展一些自定义的功能。利用Extension我们可以注册一些处理方法并监听Scrapy运行过程中的各个信号，做到发生某个事件时执行我们自定义的方法。 Scrapy已经内置了一些Extension，如LogStats这个Exten ......
分布式消息系统RocketMQ
一、RocketMQ简介 Apache RocketMQ是一个采用Java语言开发的分布式的消息系统，由阿里巴巴团队开发，与2016年底贡献给Apache，成为了Apache的一个顶级项目。 在阿里内部，RocketMQ 很好地服务了 集 团大大小小上千个应用，在每年的双十一当天，更有不可思议的万亿 ......
笔记2. 堆（优先队列）
堆(优先队列) 堆的概念 堆是满二叉树：从左到右依次变满（一般用数组下标存储） 父节点和左右节点的位置 节点i位置对应的父子节点位置 父节点: (i - 1) / 2; 左子节点: 2 * i + 1 右子节点: 2 * i + 2 大根堆和小根堆 大根堆：每棵子树的头节点为当前树的最大值 小根堆： ......
自学Python爬虫笔记（day4）
环境python3.9版本及以上，开发工具pycharm 今天是对requests模块的应用实战，分别是爬取豆瓣电影TOP250的基本信息和电影天堂“2023必看热片”的名称及下载地址。具体如下： '''爬取豆瓣电影TOP250的基本信息 思路： 1.拿到页面源代码 2.编写正则，提取页面数据 3. ......
【算法数据结构专题】「延时队列算法」史上手把手教你针对层级时间轮（TimingWheel）实现延时队列的开发实战落地（下）
承接上文 承接上一篇文章【算法数据结构专题】「延时队列算法」史上手把手教你针对层级时间轮（TimingWheel）实现延时队列的开发实战落地（上）】我们基本上对层级时间轮算法的基本原理有了一定的认识，本章节就从落地的角度进行分析和介绍如何通过Java进行实现一个属于我们自己的时间轮服务组件，最后，在 ......
HJ67_24点游戏算法_多维递归_DFS（深度优先搜索）
思路： 多维递归，深度有限遍历加减乘除四种情况。 知识点： 1、多维递归不能对传递的变量进行修改，否则无法回溯。 应该传递一个新地址的变量，如代码所示，传递切片的列表，不修改列表 2、搜索遗漏。两括号比如（（9-4）-1）*6 选取任意一个数作为第一个运算数与24运算，不能找出所有24点的计算方法。 ......
数组模拟单向队列的思路及代码
JAVA实现数组模拟单向队列的思路及代码 一、什么是队列？ 队列是一种特殊的线性表 ，特殊之处在于它只允许在表的前端（front）进行删除操作，而在表的后端（rear）进行插入操作，和栈一样，队列是一种操作受限制的线性表。 进行插入操作的端称为队尾，进行删除操作的端称为队头。 队列中没有元素时，称为 ......
数组模拟环形队列的思路及代码
JAVA实现数组模拟环形队列的思路及代码 前言 在对Java实现数组模拟队列零了解的情况下，建议先去阅读《JAVA实现数组模拟单向队列的思路及代码》一文，可以辅助理解本文核心思想。 一、环形数组队列 实现：让数组达到复用的效果，即：当我们从数组队列中取出了数据，那取出数据后后这个空间可以再次使用。 ......
爬虫基础内容回顾
回顾基础内容 浏览器. 简单聊聊浏览器工作原理： 浏览器在加载页面源代码的时候. 会遇到一些特殊的东西 1. 图片<img> 2. css样式<link href="xxxxx.css"> 3. js文件<script src="xxxxx.js> 4. js代码片段 <script>js代码</s ......
正太分布数据排序后分段数据的方差与标准差
clc close num=46000; step=23000; n=num/step; arr=randn(num,1) * 8.239027791394347 + 70; std(arr) mean(arr) arr_s=sort(arr); s=zeros(step,n); std_arr=z ......
R语言GARCH族模型：正态分布、t、GED分布EGARCH、TGARCH的VaR分析股票指数|附代码数据
全文链接：http://tecdat.cn/?p=31023 最近我们被客户要求撰写关于GARCH的研究报告，包括一些图形和统计输出。 如何构建合适的模型以恰当的方法对风险进行测量是当前金融研究领域的一个热门话题 VaR方法作为当前业内比较流行的测量金融风险的方法,具有简洁,明了的特点,而且相对于方 ......
极值分析：分块极大值BLOCK-MAXIMA、阈值超额法、广义帕累托分布GPD拟合降雨数据时间序列|附代码数据
全文链接：http://tecdat.cn/?p=25348 最近我们被客户要求撰写关于极值分析的研究报告，包括一些图形和统计输出。 你们可能知道，实际极值分析有两种常用方法：分块极大值Block-maxima、阈值超额法threshold excess 今天，我们将分别介绍这两种方法。 分块极大值 ......
和 chatgpt 聊了一会儿分布式锁 redis/zookeeper distributed lock
前言 最近的 chatGPT 很火爆，听说取代程序员指日可待。 于是和 TA 聊了一会儿分布式锁，我的感受是，超过大部分程序员的水平。 Q1: 谈一谈 java 通过 redis 实现分布式 锁 chatGPT: Java通过Redis实现分布式锁，是在多个Java应用程序之间实现同步的一种方式。通 ......
基于MATLAB的分布式mimo性能仿真,分析能量效率和频谱效率
1.算法描述 基于matlab的协作mimo分布式空时编码技术的仿真,包括规则LDPC级联D-STBC,ML,ZF,DFE均衡,Fincke-Pohst-MAP算法检测。将规则LDPC加入这个协作MIMO的D-STBC里，即是将LDPC码与D-STBC级联，发送端用LDPC编码发送到协作节点，然后协 ......
scrapy爬虫框架（六）Item Pipeline的使用
Item Pipeline即项目管道，它的调用发生在Spider产生Item之后。当Spider解析完Response，Item就会被Engine传递到Item Pipeline，被定义的Item Pipeline组件会顺次被调用，完成一连串的处理过程，比如数据清洗、存储等。 Item Pipeli ......
计算两个概率分布之间的距离(Hellinger距离)
Hellinger距离 介绍 Hellinger距离是一种用于度量概率分布之间相似度的指标。 在统计学和信息论领域中，它被广泛应用于分类、聚类、图像识别、文本分类等方面。 Hellinger距离又称为Bhattacharyya距离的平方根，它是两个概率分布之间的欧几里德距离的一半，其取值范围在0到1 ......