爬虫 优先级 队列 分布式
[Python爬虫]selenium4新版本使用指南
From: 码同学测试公众号 Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera，Edge等 ......
[算法学习笔记] 单调队列
> 当一个选手比你小还比你强，你就可以退役了。 单调队列 ### 简介 单调队列一般用于维护动态区间内的极值，它可以做到线性的复杂度下求出所有动态区间的极值。 它的原理在上文引用部分已经提到，每次队列中只维护**可能成为区间极值**的元素，具体地，例如求区间最小值，若队列中有的数比新增加的数大，则可 ......
0-1BFS（双端队列BFS）
OIWIKI上面的解释 [ABC176D] Wizard in Maze 模板题 #include<bits/stdc++.h> using namespace std; #define endl "\n" typedef long long ll; const int N = 1e3 + 5; s ......
Zabbix 分布式监控平台
[toc] ## 一、Zabbix 概述 作为一个运维，需要会使用监控系统查看服务器状态以及网站流量指标，利用监控系统的数据去了解上线发布的结果，和网站的健康状态。 利用一个优秀的监控软件，我们可以： - 通过一个友好的界面进行浏览整个网站所有的服务器状态 - 可以在Web 前端方便的查看监控数据 ......
zabbix 基于 Web 界面的提供分布式系统监视
zabbix 基于 Web 界面的提供分布式系统监视，能监视各种网络参数，保证服务器系统的安全运营；并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。 目录 一、zabbix概述 二、监控原理 三、zabbix组件 四、zabbix架构 五、zabbix工作原理 六、部署 zabbix ......
深入浅出关于微服务架构实战指南：分布式系统的设计与部署技巧
深入浅出关于微服务架构实战指南：分布式系统的设计与部署技巧 微服务架构实战指南：分布式系统的设计与部署技巧 摘要：随着互联网应用的快速发展，传统的单体应用架构已经无法满足高可用、可扩展、快速迭代等需求。微服务架构的出现为解决这些问题提供了一种新的思路。本文将深入探讨微服务架构的设计与部署技巧，包括服 ......
构建数据集相关（爬虫、去重、划分）
## 1 爬取图片（crawl_images.py） 爬取百度图片 原文链接：[【Python 爬虫】爬取百度图片](https://zhuanlan.zhihu.com/p/367325899) ```python # -*- coding: utf-8 -*- """ Created on 20 ......
Redis从入门到放弃（10）：分布式锁
在分布式系统中，实现对共享资源的安全访问是一个关键问题。Redis作为一种高性能的内存数据库，提供了多种方式来实现分布式锁，以解决多个节点之间对共享资源的并发访问问题。 本文将介绍五种Redis分布式锁的解决方案及其原理、应用场景以及Java代码的实现步骤。 ## 1、SETNX `SETNX`（S ......
python实现简单的爬虫功能
前言Python是一种广泛应用于爬虫的高级编程语言，它提供了许多强大的库和框架，可以轻松地创建自己的爬虫程序。在本文中，我们将介绍如何使用Python实现简单的爬虫功能，并提供相关的代码实例。 如何实现简单的爬虫1. 导入必要的库和模块在编写Python爬虫时，我们需要使用许多库和模块，其中最重要的 ......
【转】分布式事务,EventBus 解决方案:CAP【中文文档】
【转】分布式事务,EventBus 解决方案:CAP【中文文档】 最新文档地址：https://github.com/dotnetcore/CAP/wiki 前言 很多同学想对CAP的机制以及用法等想有一个详细的了解，所以花了将近两周时间写了这份中文的CAP文档，对 CAP 还不知道的同学可以先看一 ......
分布式链路跟踪springcloud-Sleuth和springcloud-Zipkin
分布式链路跟踪springcloud-Sleuth和springcloud-Zipkin 前言 各大厂分布式链路跟踪系统架构对比随着互联网架构的扩张，分布式系统变得日趋复杂，越来越多的组件开始走向分布式化，如微服务、消息收发、分布式数据库、分布式缓存、分布式对象存储、跨域调用，这些组件共同构成了繁杂 ......
linux应用进程优先级配置
# linux应用进程优先级配置 example: ``` #include int set_process_priority(void) { int pri; struct sched_param param; pri = sched_get_priority_min(SCHED_RR); if ......
云原生可观测框架 OpenTelemetry 基础知识(架构/分布式追踪/指标/日志/采样/收集器)
 ## 什么是 OpenTelemetry？ [OpenTelemetry](https://opentele ......
[代码随想录]Day11-栈与队列part03
## 题目：[239. 滑动窗口最大值](https://leetcode.cn/problems/sliding-window-maximum/) ### 思路：  分布式锁（1）基于Redis(setnx)实现分布式锁组件
# 1 序言 近期遇到一个问题： + 外部查询缓存了InfluxDB中物联网数据表的字段信息元数据的本地缓存(基于Google Guava Cache、及其RefreshAfterWrite(seconds, TimeUnit.SECOND))的Web接口 > 为什么会缓存 Influxdb的字段信 ......
应用程序通过 Envoy 代理和 Jaeger 进行分布式追踪（一）
Istio 支持通过 Envoy 代理进行分布式追踪，代理自动为其应用程序生成追踪 span，只需要应用程序转发适当的请求上下文即可。Istio 支持很多追踪系统，包括 Zipkin， Jaeger，Lightstep 和 Datadog，其中 Jaeger 目前已经成为 Istio 默认的分布式追 ......
[系统设计] 分布式系统 (1) 分布式锁 [转载]
在日常开发工作中，我们为了保证资源操作的最终一致性，同样需要用到锁来进行操作控制。本Chat结合自己工作中的经验沉淀，来跟大家一起聊聊 分布式锁的那些事，分享一些实用内容给大家。 # 为什么会出现分布式锁？ 如下图所示，一个应用被部署到多个机器上做负载均衡。为了保证一个方法或属性在高并发情况下的同一 ......
爬爬《五》:爬虫入门与urllib&requests
# 前情摘要 ## 一、web请求全过程剖析 我们浏览器在输入完网址到我们看到网页的整体内容, 这个过程中究竟发生了些什么? 我们看一下一个浏览器请求的全过程  # 1. 配置服务 ## 1.1. 配置服务本身就是分布式数据库 ### 1.1.1. 像ZooKeeper和et ......
多重背包 (单调队列)
[题目链接](https://www.acwing.com/problem/content/6/ "题目链接") *** ``` #include using ll = long long; const int N = 1E3 + 5 , M = 2E4 + 5; int n,m; int v[N] ......
Redis 之分布式锁的实现
## 引言 分布式锁大家应该不陌生，在很多大厂面试的时候，面试官们都很喜欢问这个问题。 我们在系统中修改已有数据时，需要先读取，然后进行修改保存，此时很容易遇到并发问题。由于修改和保存不是原子操作，在并发场景下，部分对数据的操作可能会丢失。在单服务器系统我们常用本地锁来避免并发带来的问题，然而，当服 ......
在分布式nvidia cuda-pytorch中同时使用MPI和NCCL会造成死锁——分布式pytorch的backend不能同时使用MPI和NCCL
参考原文： https://docs.nvidia.com/deeplearning/nccl/user-guide/docs/mpi.html#inter-gpu-communication-with-cuda-aware-mpi 说实话，我不太认为有人在使用分布式pytorch的时候会同时开两个 ......
读发布！设计与部署稳定的分布式系统（第2版）笔记28_控制层上
 # 1. 控制层囊括所有在后台运行的成功处理生产负载的软件和服务 ## 1.1. 处理用户生产数据的那些软件，就 ......
Hadoop完全分布式集群安装
# Hadoop完全分布式集群安装 >使用版本: hadoop-3.2.0 ## 安装VMware 看一下这张图，图里面表示是三个节点，左边这一个是主节点，右边的两个是从节点，hadoop集群是支持主从架构的。 不同节点上面启动的进程默认是不一样的。 ![](https://img2023.cnbl ......
王道408用数组，链表以及双向链表实现栈、队列
我在电脑上敲了一遍，又在纸上模拟了一遍 下面记录在电脑上敲的: 一、用数组实现栈 #include <stdio.h> #include <string.h> #define MaxSize 50 typedef struct{ int data[MaxSize]; int top; }stack; ......