爬虫 优先级 队列 分布式
[代码随想录]Day10-栈与队列part02
## 题目：[20. 有效的括号](https://leetcode.cn/problems/valid-parentheses/) ### 思路： 很简单的一个栈的题目： 1. 如果是左括号就存 2. 如果是右括号就和栈顶的匹配 1. 匹配失败就返回false 2. 匹配成功就删除栈顶元素 3. ......
第八章：分布式系统的麻烦
故障与部分失效 如果发生内部错误，我们宁愿电脑完全崩溃，而不是返回错误的结果，因为错误的结果很难处理。因为计算机隐藏了模糊不清的物理实现，并呈现出一个理想化的系统模型，并以数学一样的完美的方式运作。 在分布式系统中，尽管系统的其他部分工作正常，但系统的某些部分可能会以某种不可预知的方式被破坏。这被称 ......
代码随想录算法训练营第十天| 232.用栈实现队列 225. 用队列实现栈
232.用栈实现队列 卡哥建议：大家可以先看视频，了解一下模拟的过程，然后写代码会轻松很多。 题目链接/文章讲解/视频讲解：https://programmercarl.com/0232.%E7%94%A8%E6%A0%88%E5%AE%9E%E7%8E%B0%E9%98%9F%E5%88%97.h ......
[代码随想录]Day09-栈与队列part01
## 题目：[232. 用栈实现队列](https://leetcode.cn/problems/implement-queue-using-stacks/) ### 思路： 因为go没有栈和队列的类型，直接自己写就行了。 比较简单的实现，具体看代码中的注释。 ### 代码： ```go type ......
爬虫前端代码
爬取前5个视频的视频以及弹幕。 url = 'https://search.bilibili.com/video?keyword=%E7%81%AB%E5%BD%B1&from_source=webtop_search&spm_id_from=333.1073&search_source=5' ......
测试与爬虫—抓包神器之Charles
# 前言 之前我们讲到过fiddler(https://www.cnblogs.com/zichliang/p/16067941.html),wireshark(https://www.cnblogs.com/zichliang/p/17477251.html) 今天我们来讲讲另一款跨平台的抓包软件 ......
JS语言里常见的随机函数示例，实验结果分布规律分析
在JavaScript语言里有个 Math.random() 随机函数，用于生成指定范围内的随机数。 #### Math.random()函数 根据官方的定义: **Math.random()** 函数返回一个浮点数, 伪随机数在范围[0，1)，也就是说，从0（包括0）往上，但是不包括1（排除1）， ......
优先队列
元素入队时间复杂度O(logn)，查询O(1)，总体排序时间复杂度O(logn)，用于优化一些大数据范围的排序，具体用法如下： #include<bits/stdc++.h> using namespace std; priority_queue <int,vector<int>,less<int> ......
Python爬虫——爬虫时如何知道是否代理ip伪装成功？
在进行爬虫时，我们可能需要使用代理IP来伪装自己的身份，以避免被网站封禁。如何判断代理IP是否伪装成功呢？本篇文章将围绕这个问题展开讲解，同时提供Python代码示例。 1. 确认代理IP地址 首先，我们需要确认代理IP地址是否正确。我们可以使用一些免费的代理IP池网站，如：站大爷、碟鸟ip、开心代 ......
python爬虫学习小记——lxml板块
python爬虫学习小记——lxml板块 lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高。 XPath，全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言，它最初是用来搜寻XML文档的，但是它同样 ......
python爬虫学习小记——request模块
要学习爬虫我们首先要了解requests这个模块 Python requests 模块 Python requests 是一个常用的 HTTP 请求库，可以方便地向网站发送 HTTP 请求，并获取响应结果。 requests 模块比 urllib 模块更简洁。 使用 requests 发送 HTTP ......
【2023知乎爬虫】知友怎么看待《罗刹海市》？爬了上千条知乎回答！
[toc] 您好，我是[@马哥python说](https://www.zhihu.com/people/13273183132)，一枚10年程序猿。 # 一、爬取目标 之前我分享过一篇[知乎评论的爬虫教程](https://www.cnblogs.com/mashukui/p/16622995.h ......
RabbitMQ延迟队列，死信队列配置
##### 延迟和死信队列的配置 - 延迟队列有效期一分钟，后进入死信队列，如果异常就进入异常队列 ``` @Configuration @Data public class RabbitMQConfig { /** * 交换机 */ private String orderEventExchang ......
利用 docker 实现JMeter分布式压测
### 为什么需要分布式？ 在工作中经常需要对一些关键接口做高QPS的压测，JMeter是由Java 语言开发，没创建一个线程（虚拟用户），JVM默认会为每个线程分配1M的堆栈内存空间。受限于单台试压机的配置很难实现太高的并发。所以，通过JMeter实现分布式，可以整合多台主机的硬件资源，实现同时对 ......
pytest-xdist分布式测试原理浅析
pytest-xdist执行流程： 解析命令行参数：pytest-xdist 会解析命令行参数，获取用户指定的分发模式、进程数、主机列表等信息。 加载测试用例：pytest-xdist 会加载所有的 pytest 测试用例，包括在当前目录和子目录下的所有测试文件和测试函数。 分发测试用例：根据用户指 ......
微服务架构实战指南：分布式系统的设计与部署技巧
微服务架构实战指南：分布式系统的设计与部署技巧 分布式微服务架构是一种将大型应用程序划分为多个小型服务的设计方法。这种方法可以提高应用程序的可扩展性、灵活性和可靠性。以下是设计和实施分布式微服务架构时应考虑的关键要点和策略： 1、服务拆分和设计：首先需要对应用程序进行服务拆分，将其划分为小型服务。在 ......
简述分布式链路追踪工具——Jaeger
1、简介 1.1 Jaeger是什么 Jaeger 是受到 Dapper 和 OpenZipkin 启发的由 Uber Technologies 作为开源发布的分布式跟踪系统，截止2023年8月3日最新稳定版本是1.47。其前端采用React语言实现，后端采用GO语 ......
为什么要 API 优先？
最近关于 API-First （API 优先）作为设计和开发方法的讨论很多，虽然通向 API-First 的途径有很多，但通常推动 API-First 的一般都是 API 架构师、API 设计师和 API 平台负责人等，很好理解，因为他们对组织中 API 的效率、互操作性和质量最感兴趣。 因此，这些 ......
集群与分布式
集群：多个人干同样一件事情 分布式：多个人干不同的事情，合起来时一件事情 两个人都是做饭，洗菜，切菜 所以他两个是一个集群 雇人洗菜，切菜，自己做饭，三个人共同干做饭一件事，这就是分布式 集群分布式系统的有点： ......
Python爬虫—破解JS加密的Cookie
在进行网站数据爬取时，很多网站会使用JS加密来保护Cookie的安全性，而为了防止被网站反爬虫机制识别出来，我们通常需要使用代理IP来隐藏我们的真实IP地址。 本篇文章将介绍如何结合代理IP破解JS加密的Cookie，主要包括以下几个方面： 1. 什么是Cookie 2. 什么是JS加密的Cooki ......
springboot + redis stream做轻量级消息队列
### 背景 前面我们探讨了使用redis stream做消息中间件的可行性,结论是在保证数据并发量不大, 数据敏感性不高, 且不方便使用重量级MQ,kafka的情况下可以使用. 探讨过程:https://www.cnblogs.com/qds1401744017/p/17598613.html # ......
单调队列
一个支持在队尾插入，队头和队尾删除的队列，整个队列呈单调性 如果要求最大值则维护一个递减的单调队列，最小值则递增 用deque写很方便（前几天用数组模拟队列 代码调不出bug难受死了） 例题 P1886 滑动窗口 思路： 用一个deque，存点的序号（用于判断是否过期）和点的数字。每次新增加一个元素 ......
redis stream做轻量级消息队列的可行性
#### 背景 对于消息数量很少的场景, 尝试使用redis stream来做消息队列. #### 为什么要用redis的stream, redis的其他数据结构可以吗? 参考文章1:https://www.zhihu.com/question/43688764?sort=created 参考文章2 ......
kratos项目中使用kafka实现延迟队列
项目地址 https://gitee.com/huoyingwhw/kratos_kafka B站视频地址 B站视频地址——kratos项目中使用kafka实现延迟队列 ......
消息队列详解
文章目录1、什么是消息队列2、消息队列特点3、消息队列的的传输模式4、常用的消息队列1、什么是消息队列消息队列一般简称为 MQ （Messges Queue），是指利用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成，是在消息的传输过程中保存消息的容器。消息队列本 ......
消息队列二十年
2020 年我有幸加入腾讯 tdmq 初创团队，当时 tdmq 还正在上云公测阶段，我第一次从一个使用工具的人转变成了开发工具的人， 这个过程使我沉淀了很多消息队列知识与设计艺术。 后来在业务中台的实践中，也频繁地使用到了 MQ，比如最常见的消息推送，异常信息的重试等等， 过程中也对消息队列有了更加 ......
分布式测试插件 pytest-xdist 使用详解
使用背景： 大型测试套件：当你的测试套件非常庞大，包含了大量的测试用例时，pytest-xdist可以通过并行执行来加速整体的测试过程。它利用多个进程或计算机的计算资源，可以显著减少测试执行的时间。 高计算资源需求：某些测试场景可能需要大量的计算资源，例如进行复杂的计算、模拟或数据处理。在这种情况下 ......
RabbitMQ（五）延时队列及其在分布式事务的使用场景
### RabbitMQ（五）延时队列 延时队列的使用场景： - 未支付订单，超过一段时间后，系统自动取消订单并释放占有物品 - 锁定库存一段时间后，检查订单不存在或者被取消，则解锁库存 #### 1 定时任务存在的问题 如果使用Spring Schedule定时轮询数据库，则 - 消耗系统 ......