爬虫 优先级 队列 分布式
分布式锁
参考： java guide：分布式锁常见实现方案总结 小林 coding: 如何用 redis 实现分布式锁的？ 在多线程环境中，如果多个线程同时访问共享资源（例如商品库存、外卖订单），会发生数据竞争，可能会导致出现脏数据或者系统问题，威胁到程序的正常运行。 分布式锁是用于分布式环境下并发控制的一 ......
读发布！设计与部署稳定的分布式系统（第2版）笔记27_安全性下
 # 1. 安全配置出现失误 ## 1.1. 攻击者已经通过使用开箱默认的admin登录名和密码，进入了不少应用程 ......
redis做消息队列学习
转自：https://juejin.cn/post/7094272373930590245#heading-9，https://zhuanlan.zhihu.com/p/344269737 1、消息队列基本 作用：应用解耦（作为中介）、削峰填谷。redis做mq的优点：轻量级，使用和运维成本低。 m ......
分布式id
# 自增id b + 树节点是有序的，所以id最好也是有序的，这样存储数据效率高一点，如果不是递增的，那讲数据存储到数据库中效率较低，还得找树的值，递增的话直接按id插入到树中即可，而乱序则还得找相应的位置才能进行插入。 - 趋势递增：总体来看顺序是递增的。 - 单调递增：下一个一定比上一个大。 - ......
某行动态cookie反爬虫分析
# 某行动态cookie反爬虫分析 ### 1. 预览 - 反爬网址(`base64`): `aHR0cDovL3d3dy5wYmMuZ292LmNu` - 反爬截图： - 需要先加载运行`js`代码，可能是对环境进行检测，反调试之类的 ，栈顶插入，栈顶删除，常见的应用是递归调用的实现 队列：先进先出(做核酸)，队尾插入，队头删除 栈和队列顺序存储更为常见 栈 栈是向低地址增长的 如果a和b紧挨着，b一定在a的左边 如果b和c紧挨着，c一定在b的左边 ......
python数据分析师入门-学习笔记（爬虫-序言）
# 爬虫到底是什么 ## 概括 ### 爬虫是批量化自动获取既有数据 - 批量化 - 自动 - 既有数据 ### 通常 - 获取既有数据 ### 特殊 - 批量注册一批账号 - 批量去领取优惠券 - 批量自动下单购物 - 自动做任务（签到） # 实际应用 - 企业中： - 竞品调研数据采集 - 办公 ......
python爬虫基础
# 前言 都说 # 爬虫简介 1、首先我们需要知道爬虫是什么？爬虫实际上是一段程序，我们可以通过这段程序从互联网上获取到我们想要的数据，这里还有另外一种解释是我们使用程序来模拟浏览器向服务器发送请求，来获取响应信息 2、爬虫的核心： （1）、爬取网页：爬取整个网页，包含网页中的所有内容 （2）、解析 ......
.NET中使用RabbitMQ延时队列和死信队列
# RabbitMQ延时队列和死信队列 # 延时队列和死信队列 > 延时队列是RabbitMQ中的一种特殊队列，它可以在消息到达队列后延迟一段时间再被消费。 > > 延时队列的实现原理是通过使用消息的过期时间和死信队列来实现。当消息被发送到延时队列时，可以为消息设置一个过期时间，这个过期时间决定了消 ......
python数据分析师入门-学习笔记（第九节 爬虫的核心流程）
## 学习链接：[Python数据分析师入门](Https://Www.Bilibili.Com/Video/Bv15v4y1f7ju/?Vd_source=22d1d62b22f4b9c7051c7601ab55d92c "Python数据分析师入门") # 爬虫的核心流程 1. 明确目标 - 汽 ......
python数据分析师入门-学习笔记（第八节 python爬虫的准备工作）
## 学习链接：[Python数据分析师入门](Https://Www.Bilibili.Com/Video/Bv15v4y1f7ju/?Vd_source=22d1d62b22f4b9c7051c7601ab55d92c "Python数据分析师入门") # python爬虫的准备工作 1. 一台 ......
python数据分析师入门-学习笔记（第七节 爬虫如何搞钱）
## 学习链接：[Python数据分析师入门](Https://Www.Bilibili.Com/Video/Bv15v4y1f7ju/?Vd_source=22d1d62b22f4b9c7051c7601ab55d92c "Python数据分析师入门") # 爬虫如何搞钱 1. 入职企业，找一份爬 ......
python数据分析师入门-学习笔记（第六节 爬虫合法吗）
## 学习链接：[Python数据分析师入门](Https://Www.Bilibili.Com/Video/Bv15v4y1f7ju/?Vd_source=22d1d62b22f4b9c7051c7601ab55d92c "Python数据分析师入门") # 爬虫合法吗 ## 机器人协议 - ro ......
python数据分析师入门-学习笔记（第五节 爬虫分类）
### 学习链接：[Python数据分析师入门](Https://Www.Bilibili.Com/Video/Bv15v4y1f7ju/?Vd_source=22d1d62b22f4b9c7051c7601ab55d92c "Python数据分析师入门") # 爬虫分类 ### 1. 聚焦爬虫 - ......
python数据分析师入门-学习笔记（第四节 爬虫的应用场景）
### 学习链接：[Python数据分析师入门](Https://Www.Bilibili.Com/Video/Bv15v4y1f7ju/?Vd_source=22d1d62b22f4b9c7051c7601ab55d92c "Python数据分析师入门") # 实际应用 企业中： 竞品调研数据采集 ......
GoRedisLock：Golang保障数据一致性的分布式锁解决方案
在现代分布式系统中，多个节点之间共享资源是常见的需求。然而，并发访问共享资源可能导致数据不一致性和竞争条件。为了解决这些问题，我们需要引入分布式锁。GoRedisLock是一个出色的分布式锁库，它结合了Go语言和Redis的优势，提供了稳定高效的分布式并发控制解决方案。 **项目地址：** http ......
爬虫 | 微博热搜采集发送器
本实验将实现一款爬虫工具，微博热搜采集发送器，通过 requests 库加 bs4 库完成对热搜的爬取，之后通过 smtplib 库与 email 库实现邮件信息的传递。最后还为大家介绍了一个爬虫技巧，pandas 一行代码抓取表格数据。 #### 知识点 - 微博热搜爬取 - Python 邮件发 ......
爬虫数据保存到csv中
import json import os.path import time from jsonpath import * # import jsonpath as jsonpath import pandas as pd import requests # url = "http://www.wh ......
学习 linux 的工作队列机制
入职后导师给的第二篇文章，让学习驱动的编写和工作队列，可能主要是想培养一下阅读源码和分析能力吧，做一个驱动的入门。 在公司和学校都习惯用 onenote，但是这个东西带不走的，因此希望在博客上记录一点。 在学习别人的文章时，demo 那部分的代码可以看懂，但是很多东西别人记录和自己记录的逻辑和行文完 ......
.netcore 中高性能队列Channel的应用与封装
Channel存在于命名空间System.Threading.Channels中，是.net一种新型的线程安全集合，提供了发布和订阅消息处理功能，在一个服务中若接收消息和处理消息都很频繁，且处理消息耗时较长时，Channel是一种好的处理方式。 1、创建Channel方式（支持泛型消息格式） 支持5 ......
爬虫 | 白菜价商品数据抓取
本实验介绍了一个全新的爬虫思路，**通过移动端 Web 站点爬取数据**，方法是借助谷歌浏览器的开发者工具，模拟出移动设备进行网站访问，然后去获取移动端网站的数据接口。后半部分通过爬取 4399 排行榜与什么值得买白菜商品两个案例，强化对于移动端 Web 站点爬取技术的学习。 #### 知识点 - ......
读发布！设计与部署稳定的分布式系统（第2版）笔记25_互联层之路由和服务
 # 1. 控制请求数量 ## 1.1. 这个世界可以随时摧毁我们的系统 ### 1.1.1. 要么拒绝工作 ### ......
分布式ID性能评测：CosId VS 美团 Leaf
# 分布式ID性能评测：CosId VS 美团 Leaf ## 基准测试环境 - MacBook Pro (M1) - JDK 17 - JMH 1.36 - 运行在本机的Docker 的 mariadb:10.6.4 ## 运行基准测试 > 基准测试代码： https://github.com/A ......
LeetCode 239. Sliding Window Maximum 单调队列
You are given an array of integers `nums`, there is a sliding window of size `k` which is moving from the very left of the array to the very right. Yo ......
链表/栈/队列/KMP
- ### 链表 - 用数组模拟，不同于结构体加指针 - 调用new关键字开上万级别的节点非常慢，基本会超时 - #### 单链表 - 来构造邻接表 - 用于存图与树 - ##### 基本结构： - head 表示头结点的下标 - e[i] 表示节点i的值 - ne[i] 表示节点i的下一个节点的下 ......
数据结构中队列的存储和应用
队列： 只有两个口进出数据，一个专门进入数据，另一个专门出数据，先进先出，FIFO表 一、 顺序队列： 存储元素的连续内存的首地址 容量 队头位置 (出队) 队尾位置 (入队) [元素数量] 运算：创建、销毁、清空、出队、入队、队空、队满、队头、队尾、元素数量 #include <stdio.h> ......
写一段python爬虫下载商品图片的代码
以下是一个简单的Python爬虫代码示例，用于下载商品图片： ```python import requests import os from bs4 import BeautifulSoup def download_image(url, save_path): response = reques ......
写一段python爬虫下载登录用户商品图片的代码
要下载登录用户的商品图片，你需要模拟登录网站并获取登录后的会话。下面是一个示例代码，用于登录网站并下载登录用户的商品图片： ```python import requests import os from bs4 import BeautifulSoup def login(username, pa ......
爬虫 | 美食数据抓取
本实验将为大家介绍接口爬取的相关知识，通过实验楼课程列表页与 IT 之家动态页，讲解如何通过开发者工具快速判断数据来源。实验过程将通过爬取美食网、实验楼社区两个案例，说明如何针对接口编写爬虫。 #### 知识点 - 接口（API） 爬取知识 - 美食案例实操 - 实验楼社区案例实操 ### 接口（A ......