爬虫 优先级 队列 分布式
【分布式】解决树莓派4B-64位更换清华源问题(GPG error:because the public key is not available)
【分布式】解决树莓派4B-64位更换清华源问题(GPG error:because the public key is not available) 别出BUG求求了 于 2022-04-30 16:15:38 发布 阅读量3.1k 收藏 18 点赞数 7分类专栏： 分布式 文章标签： debian ......
分布式一致性协议 之 Paxos协议
1、什么是Paxos Paxos协议其实说的就是Paxos算法, Paxos算法是基于消息传递且具有高度容错特性的一致性算法，是目前公认的解决分布式一致性问题最有效的算法之一。 Paxos由 莱斯利·兰伯特(Leslie Lamport)于1998年在《The Part-Time Parliamen ......
分布式存储系统需要解决的问题
0.数据集群的两种架构 数据集中集群 （多主从） 数据分散集群 数据同步 主节点环形空间 + 从节点position 去判断是该增量还是全量。 同步方式 以数据快照的方式同步 -- 通常是全量 以命令的方式（执行语句的方式同步） -- 增量 数据快照生成过程中的写入问题 以mvcc方式，可重复读的方 ......
算法修养--广度优先搜索BFS
广度优先算法（BFS） 广度优先算法（Breadth-First Search）是在图和树领域的搜索方法，其核心思想是从一个起始点开始，访问其所有的临近节点，然后再按照相同的方式访问这些临近节点的节点，这种访问方式类似涟漪泛起，一层一层的扩散。 广度优先算法解决的问题： 从A点出发，有没有一条路径可 ......
Snowflake算法生成分布式ID实现Go、C++
Snowflake 算法是一种用于生成全局唯一 ID 的分布式算法。它在分布式系统中被广泛应用，用于解决多节点同时生成 ID 的冲突问题。 Snowflake 算法的核心思想是将一个64位的长整数（Long）分解成多个部分，每个部分代表不同的信息，例如时间戳、节点ID和序列号。通过这种方式，Snow ......
队列queue
队列queue(包含头文件queue) 首先说说什么是queue，queue就像是一根管子，数据可以从管子尾部进入，然后从头部出来，不能倒车从尾部出来，并且数据只能从尾部进入，不能从头部进入 1.队列的定义 queue<队列内输入的数据类型，队列的容器类型> 变量名; queue<int> s;// ......
Julia课程4:分布式计算
在本章中，我们将学习Julia中实现分布式算法的基本工具。我们介绍了Julia中的用于分布式计算的两种主要编程模型：1）Julia标准库附带的基于任务的模型；2）Julia与消息传递接口MPI的绑定。 学习完本章节后，我们应该能够： 使用两种不同的编程模型（基于任务的模型和MPI）在Julia中实现 ......
分布式系统理解
什么是分布式系统 任务在多个相对独立的物理节点上进行（即软件或硬件分布在不同的计算机设备上）简单说，就是不同的业务模块，部署在不同服务器。彼此通过消息传递进行通信。解决了高并发问题。 分布式特点 CAP：代表了分布式系统的三个相互矛盾的属性 1.Consistency（一致性）: 访问所有节点，得到 ......
Java 深度优先搜索 and 广度优先搜索的算法原理和代码展示
111. 二叉树的最小深度 题目：给定一个二叉树，找出其最小深度。最小深度是从根节点到最近叶子节点的最短路径上的节点数量。 说明：叶子节点是指没有子节点的节点。 方法1：深度优先搜索 原理：深度优先搜索（Depth First Search）是一种遍历图的算法，它从图中的某个顶点出发，沿着一条路径不 ......
nginx中一个请求匹配到多个location时的优先级问题，马失前蹄了
背景 为什么讲这么小的一个问题呢？因为今天在进行系统上线的时候遇到了这个问题。 这次的上线动作还是比较大的，由于组织架构拆分，某个接入层服务需要在两个部门各自独立部署，以避免频繁的跨部门沟通，提升该接入层服务的变更效率。 该接入层服务之前是使用cookie + 内存session机制的，这次要独立部 ......
博学谷学习记录 自我总结 用心分享 | ElasticSearch分布式检索引擎
1、Elasticsearch基本概念 Elasticsearch是基于Apache Lucene的开源、分布式、可扩展、实时的数据搜索和分析引擎。ES不仅仅支持全文搜索，还是一个分布式文档数据库，每个字段都是被索引的数据并且可被搜索。总体来说有如下特性： 一个分布式的实时文档存储引擎，每个字段都可 ......
Kafka：用于日志处理的分布式消息系统
周末躺不平，摆不烂，卷不动，随便读一篇paper吧 原文：Kafka: a Distributed Messaging System for Log Processing 作者：Jay Kreps / Neha Narkhede / Jun Rao 这三尊神就是当初在LinkedIn开发Kafka的 ......
数据结构之队列（优先队列）
概念 优先队列（Priority Queue）为一种不必遵守队列特性FIFO（先进先出）的有序线性表，其中每个元素都赋予一个优先级（Priority），加入元素时可任意加入，但有最高优先级者（Highest Priority Out First HPOF）则最先输出。 Java 在Java中，Pri ......
数据结构之队列（双向队列）
概念 双向队列（Double-ends Queues简称Dequeue）是一种前后2端都可以添加数据（入队）、移除（出队）数据的有序线性表。 特点 双向队列（Deque，全名Double Ended Queue）是一种具有两个指针的线性表，允许从两端都可以进行插入和删除操作即双向队列可以在任意一端进 ......
Redis分布式锁实现
FreeRedis 实现源码 /// <summary> /// 开启分布式锁，若超时返回null /// </summary> /// <param name="name">锁名称</param> /// <param name="timeoutSeconds">超时（秒）</param> /// ......
全球洋流分布、性质
手画，丑，见谅 正常洋流 北赤道暖流 分布：赤道偏北的洋面上。 特点：直线向西流。 本质：风海流（信风吹拂）。 南赤道暖流 分布：赤道偏南的洋面上。 特点：直线向西流。 本质：风海流（信风吹拂）。 西风漂流 分布：南半球西风带。 特点：向东流，环绕地球。 本质：风海流（西风吹拂）。 赤道逆流 分布： ......
分布式--Base理论
一、定义 BASE 是 Basically Available（基本可用）、Soft-state（软状态） 和 Eventually Consistent（最终一致性） 二、简介 BASE理论本质上是对CAP的延伸和补充，是对CAP中的AP方案的一个补充，即在选择AP方案的情况下，如何更好地最终达到 ......
云原生 | 从零开始，Minio 高性能分布式对象存储快速入手指南
对象存储（Object Storage）是一种存储数据的计算机体系结构，它以对象的形式存储和管理数据。与传统的文件系统和块存储不同，对象存储将数据作为对象存储在分布式的存储集群中，每个对象都有一个唯一的标识符（通常是一个URL），并且可以通过这个标识符来访问和检索数据。 ......
爬虫实践06 | 爬取某网站的参展客户和展位信息
网址：https://www.cantonfair.org.cn/zh-CN/detailed?category=461147105440849920&scategory=461148159452647424&type=1&keyword=&page=1&size=40&tab=exhibitor& ......
分布式设计模式和方法论
一、设计模式 1. 可用性 可用性是系统运行和工作的时间比例，通常以正常运行时间的百分比来衡量，它可能受系统错误，基础架构问题，恶意攻击和系统负载的影响。 健康检查：系统实现全链路功能检查，外部工具定期通过公开端点访问系统 负载均衡：使用队列起到削峰作用，作为请求和服务之间的缓冲区，以平滑间歇性的重 ......
《Mastering the FreeRTOS Real Time Kernel》读书笔记（3）队列管理
4.队列管理 队列，在一些系统中被称为消息队列，可以理解为信息中转站。是任务和任务，任务和中断之间可以互相读和写的一个共享空间。 4.2 队列的特征 存储数据 队列本质上是一个先进先出的缓冲区（FIFO），所以可以存储一定容量的数据。 有两种方式可以实现FIFO队列： 1.将发送给队列的数据复制到队 ......
Hadoop2伪分布式安装
最近有观看我主讲的《Hadoop基础与演练》课程的同学问到Hadoop环境到底应该怎么安装。Hadoop的安装其实非常的简单，网上有很多教程，官网也有示例。但是可能部分同学对于linux不太熟悉，导致安装的时候会遇到各种问题，打击学习激情。本文就来详细的讲解一下如何配置Hadoop2的伪分布式环境， ......
Redisson使用延时队列
延时队列 在开发中，有时需要使用延时队列。 比如，订单15分钟内未支付自动取消。 jdk延时队列 如果使用 jdk自带的延时队列，那么服务器挂了或者重启时，延时队列里的数据就会失效，可用性比较差。 Redisson延时队列 可以使用Redisson的延时队列。 Redisson的配置，详情见：htt ......
队列入门
public class QueueTest { public static void main(String[] args) { Queue<Integer> queue = new LinkedList<>(); queue.add(10); queue.add(12); // 获取第一个元素 ......
分布式场景
一、分布式文件系统 常用的分布式文件系统：HDFS（Hadoop Distributed File System） HDFS是Apache Hadoop生态系统中的分布式文件系统，用于存储和管理大规模数据集。它是为了支持大数据处理和分析而设计的，具有高容错性、高可靠性和高可扩展性的特点。它采用了主从 ......
Linux调度中的任务优先级机制
前言 在阅读源码的过程中发现一个task_struct包含四个优先级相关的成员，prio、static_prio、normal_prio和rt_priority这几个优先级值有什么区别和联系呢？ struct task_struct { int prio; int static_prio; int ......
王道408---DS---线性表、栈、队列与数组
错题2.2 1、题目中提到在第i个位置一般是指在下表为i的位置 2、线性表元素的序号是从1开始，而在第n+1个位置插入相当于在表尾追加。 静态链表 树的双亲表示法就是使用了这种思想吧 卡特兰数 \[\text{}\frac1{n+1}C_{2n}^{n} \]栈的数学性质：n个不同元素进栈，出栈元素 ......
Redis学习之Redisson实现分布式锁
Redisson实现分布式锁 Redisson 是 Java 的 Redis 高级客户端，提供了各种现成的分布式工具类便于我们使用 Redis。 官网：https://github.com/redisson/redisson 中文文档：https://github.com/redisson/redi ......