爬虫 优先级 队列 分布式
温故知新，signalR、RSA加密、ConcurrentQueue队列
> ### 这是一个用户密码异步加解密的Demo，包含了RSA非对称加密，ConcurrentQueue线程安全队列使用，signalR实时推送加解密信息等内容。 # 说在前面的话 距离上次更新已然快过去一年了，这中间日子里进入了非常繁忙的项目迭代开发中，时至今日终于有空停下来写一写之前的博客计划， ......
redis-分布式锁优化思路
1.加锁的代码块，粒度越小越好，语句越少越好，更不容易出现"插队"的现象 2.分段锁思路：以"超卖"为例，原本是待促销200件商品，一把锁，现改成10款20件商品的促销，改成10把锁，当并发小于10的时候，甚至都不需要锁，就可以并发安全 ......
redis-分布式锁样例
redisTemplate： ``` string lockKey = "product_101" string clientID = UUID.randomUUID().toString() bool result = redisTemplate.opsForValue().setIfAbsent ......
分布式锁的实现方式介绍和代码示例
分布式锁的实现方式介绍 分布式锁是一种用于分布式系统中实现互斥访问的机制。在分布式系统中，多个进程或线程可能同时访问共享资源，为了保证数据的一致性和正确性，需要使用分布式锁来实现资源的互斥访问。 分布式锁的基本原理是通过在分布式环境下协调各个节点之间的操作，确保同一时间只有一个节点可以获取到锁，从而 ......
redis-分布式锁注意事项
lockKey:商品标识 value:当前线程标识 1.确保每把锁同一时间能且仅能上一次 setnx(set if not exists):当锁不存在时才上锁 redisTemplate.opsForValue().setIfAbsent(lockKey,value) 没加上锁需要返回错误码 直接让 ......
jmeter分布式压测
Jmeter分布式压测 一、环境准备 1.克隆虚拟机 2.在所有linux系统/etc/hosts文件中增本机的ip和主机名 Vi /etc/hosts 添加ip地址和主机名 3.检查每台压力机是否都有安装，jdk和jmeter 4.把执行的脚本文件，上传到主压力机的/home目录下，参数文件放在每 ......
爬虫：爬到的数据存到mysql中、爬虫和下载中间件、加代理，cookie、header、加入selenium、集成selenium、==去重规则源码分析(布隆过滤器)、布隆过滤器、scrapy-redis实现分布式爬虫
[toc] ### 爬到的数据存到mysql中 ```python class FirstscrapyMySqlPipeline: def open_spider(self, spider): print('我开了') self.conn = pymysql.connect( user='root' ......
深度优先搜索DFS与回溯
导入：数独问题 深入浅出程序设计竞赛187页 学生基础：必须在熟练掌握递归和暴力枚举的基础上 需要讲解：函数栈空间 P1706 全排列问题 #include<iostream> using namespace std; int n; int v[10];//标记i有没被选中 int a[10];// ......
爬虫：scrapy架构介绍、scrapy解析数据、settings相关配置，提高爬取效率、持久化方案、全站爬取cnblogs文章
[toc] ### scrapy架构介绍  ```python # 引擎(EGINE) 引擎负责控制系统所 ......
分布式任务elasticjob整合springboot本地多服务启动（附源码）
Elastic-Job是一个分布式调度的解决方案，由当当网开源，它由两个相互独立的子项目Elastic-Job-Lite和ElasticJob-Cloud组成，使用Elastic-Job可以快速实现分布式任务调度。 Elastic-Job的github地址：https://github.com/el ......
Rabbitmq：消息队列介绍、Rabbitmq安装、 基于Queue实现生产者消费者模型、基本使用（生产者消费者模型）、消息安全之ack、 消息安全之durable持久化、发布订阅闲置消费、
[toc] ### 一、消息队列介绍 #### 1.1介绍 消息队列就是基础数据结构中的“先进先出”的一种数据机构。想一下，生活中买东西，需要排队，先排的人先买消费，就是典型的“先进先出”  { Boolean lock = redisTemplate.opsForValue().setIfAbse ......
分布式事务、CAP理论、BASE理论
# 分布式事务、CAP理论、BASE理论 ## 什么是分布式事务？ ### 首先理解什么是本地事务？ 平常我们在程序中控制事务是利用数据库本身的事务特性来实现的，比如spring中的@Transactional注解，因此叫**数据库事务**。由于应用主要靠关系数据库来控制事务，此数据库只属于该应用， ......
学习爬虫4，selenium基础入门
模拟浏览器测试工具 一般来说 动态就可以用selenium url简化 只抓关键信息 将一些标识自己的内容都可以删除如 webdriver 模拟浏览器 import导入 他可以有页面交互 如find_element_by_id这样去定位id,xpath,name等 模拟输入文字内容 search_b ......
Freertos学习03-Task优先级
##一、前言 FreeRTOS是一个流行的实时操作系统，它允许用户创建多个任务并在它们之间共享处理器时间。在FreeRTOS中，任务的优先级别是非常重要的，因为它决定了任务在系统中的执行顺序。 ## 二、任务优先级特点 - FreeRTOS中的任务优先级别是一个整数，范围从0到configMAX_P ......
.net core使用channel消息队列
## .net core使用channel消息队列 ### 背景 最近做一个项目，连接了很多设备，需要保存设备的心跳数据，刚开始的做法是直接接收到设备的数据之后进行心跳数据的保存，但是随着设备多了起来，然后设备的使用时长不断的加大，对数据库的压力也比较大，所以想着优化一下。 ### 方案调研 ### ......
python练习-爬虫(续)
接下来就是查询数据了。 # 识别图片中的文字 #image = Image.open('captcha.png') image = Image.open('G:\Python爬虫\captcha.png') code = pytesseract.image_to_string(image) # 从用 ......
C++一读一写无锁队列
```cpp // 一读一写的无锁管道队列 template class PipelineList { private: template struct qnode { struct qnode *next; T data; }; struct qnode* volatile m_front; st ......
Jenkins 分布式节点控制-6
Jenkins 分布式节点控制一．打开代理1.系统管理-安全-全局安全设置2.打开代理二.创建节点1.进入创建节点页面系统管理-系统配置-节点管理2.创建节点名称3.填写节点信息4．启动slave1-apitest节点启动名称参考，节点内第一条提示curl -sO http://10.196.131 ......
单体架构、分布式架构与微服务的区别
一、优缺点对比 优点 缺点 案例 单体架构 架构简单、部署成本低 高度耦合(维护困难、升级困难)、扩展性差 学生管理系统 分布式架构 松耦合(服务耦合)、扩展性好(利于升级和扩展) 架构复杂(服务调用关系复杂)、难度大 京东、淘宝 微服务 服务拆分粒度更小、服务更独立、耦合度更低 架构非常复杂、运维 ......
简易的实现阻塞队列
在Java中有阻塞`wait()`和唤醒`notify()`方法，于是想实现一个简易的阻塞队列 当队列满时，阻塞生产方法等待消费；当队列为空时，阻塞消费队列等待生产 ``` public class BlockQueueTest { int max ; //维护一个队列 final Queue qu ......
【前端开发】好用的可视化爬虫工具
EasySpider 一个可视化爬虫软件，可以无代码图形化的设计和执行爬虫任务 git地址如下 https://github.com/NaiboWang/EasySpider 下载软件地址 https://github.com/NaiboWang/EasySpider/releases 实例效果图 ......
爬虫如何通过HTML和CSS采集数据的 ？
爬虫可以应用于各种应用场景，包括数据分析、市场研究、舆情监测、竞争报、价格比较、内容聚合等。对于需要大量数据的业务和研究领域，爬虫能够提供宝贵的支持。 爬虫可以按照设定的规则从多个网进行批量数据抓取，比人工手动方式更高效。量数据，并支持后续的数据分析和决策。 爬虫可以通过解析HTML和CSS来采集数 ......
爬虫框架和库有多重要？
爬虫框架和库在网络数据提取和分析中非常重它们为开发人员提供了工具和功能，使他们能够更轻松地从互联网上抓取数据。爬虫框架和库通常提供了高效的网络请求、数据解析和存储机制，简化了爬取过程。 使用爬虫框架库有以下几个重要优势： 快速开发： 爬虫框架和库提供了封装好的功能和方法，减少了开发人员编写底层代码的 ......