爬虫 中间件 分布式 过滤器
【网络爬虫笔记】爬虫Robots协议语法详解
Robots协议是指一个被称为Robots Exclusion Protocol的协议。该协议的主要功能是向网络蜘蛛、机器人等搜索引擎爬虫提供一个标准的访问控制机制，告诉它们哪些页面可以被抓取，哪些页面不可以被抓取。本文将进行爬虫Robots协议语法详解，同时提供相关代码和案例。 1. Robots ......
恶意爬虫防护
如果您仔细分析过任何一个网站的请求日志，您肯定会发现一些可疑的流量，那可能就是爬虫流量。根据Imperva发布的《2023 Imperva Bad Bot Report》在2022年的所有互联网流量中，47.4%是爬虫流量。与2021年的42.3%相比，增长了5.1%。在这些爬虫流量中，30.2%是... ......
《动手学深度学习 Pytorch版》 4.9 环境和分布偏移
# 4.9.1 分布偏移的类型 整节理论，详见书本。 # 4.9.2 分布偏移示例 整节理论，详见书本。 # 4.9.3 分布偏移纠正 整节理论，详见书本。 # 4.9.4 学习问题的分类法 整节理论，详见书本。 # 4.9.5 机器学习中的公平、责任和透明度 整节理论，详见书本。 # 练习 （1） ......
pytorch分布式训练报错：Duplicate GPU detected : rank 1 and rank 0 both on CUDA device 35000
之前使用的比较老的torch 1.8.1，换到torch 2.0后报错 "rank 1 and rank 0 both on CUDA device 35000" 将main函数开头部分的初始化 ```python distributed.init_process_group(backend='nc ......
初识网络爬虫基本原理
首先精心选择一些URL，把这些精心选择的URL放入URL队列中，从对列中捉取代取的URL读取URL之后开始解析DNS，把这些URL下载下来放入网页库中。 基本流程就是：发送请求－获取响应内容－解析内容－保存数据。 从网络爬虫的角度可以把互联网分为五种 １；已下载未过期网页 ２；已下载过期网页 ３；待 ......
使用中间件
使用中间件 Express 是一个路由和中间件 Web 框架，它自己的功能很少：Express 应用程序本质上是一系列中间件函数调用。 中间件函数是有权访问请求对象 （）、响应对象 （） 和应用程序请求-响应周期中的下一个中间件函数的函数。下一个中间件函数通常由名为 的变量表示。reqresnext ......
分布式理论 - BASE
> BASE是“Basically Available, Soft state, Eventually consistent(基本可用、软状态、最终一致性)”的首字母缩写。其中的软状态和最终一致性这两种技巧擅于对付存在分区的场合，并因此提高了可用性。 # 什么是BASE > eBay 的架构师 Da ......
分布式理论 - CAP
> CAP理论是分布式系统、特别是分布式存储领域中被讨论的最多的理论。其中C代表一致性 (Consistency)，A代表可用性 (Availability)，P代表分区容错性 (Partition tolerance)。CAP理论告诉我们C、A、P三者不能同时满足，最多只能满足其中两个。 # CA ......
python 对象数组，根据指定字段条件过滤数据
在 Python 中，你可以使用列表推导式或内置的 `filter()` 函数来根据指定字段的条件对对象数组进行过滤。 以下是使用列表推导式的示例，可以按照指定字段的条件对对象数组进行过滤： ```pythonobj_arr = [ {'id': 1, 'name': 'John'}, {'id': ......
python 对象数组，根据指定字段条件过滤数据，并排序升序
在 Python 中，你可以使用 `filter()` 函数和 `sorted()` 函数来根据指定字段的条件过滤并排序对象数组。 以下是示例代码，演示如何根据指定字段条件过滤并按升序排序对象数组： ```pythonobj_arr = [ {'id': 1, 'name': 'John'}, {' ......
问题: @WebFilter urlPatterns指定的URL不起作用，所有的请求都会经过过滤器
这里加上了@Component，虽然过滤器生效了，但是带来的结果是urlPatterns属性失效了（任何请求都会经过该过滤器）。解决方法：去掉@Component，在程序启动类加上@ServletComponentScan ......
redis分布式锁幂等性问题
一.与Transcational注解同时使用 如果是自定义的切面，切面类要加@Order(Ordered.HIGHEST_PRECEDENCE)， 保证redis锁的切面在事务切面外面，让事务先提交，再释放redis锁。 二.日期字段是datetime 背景：jmeter 500并发测试接口出现重复 ......
Web阶段：第十八章：Filter过滤器
Filter，什么是过滤器？1.Filter过滤器是javaWeb的三大组件之一，2.三大组件分别是：Servlet程序，Filter过滤器，Listener监听器。3.Filter是接口。4.Filter的作用是：拦截请求，过滤响应。 Filter的初体验需求：在webContent目录下有一个a ......
python用tkinter写一个文件对比的小工具，将两个excel文件进行对比，将两个列表差异保存到另一个新建的excel文件中，列表左边为第一个表的不同，右边为第二个表的不同，中间空出三列
先写文件对比的逻辑代码，包括读取文件，对比文件，将对比出来的差异写入另一个excel文件 1.读取文件，我这里是选取自己需要的不同的列，选定了指定的sheet列表，读者可根据需求更改 def readexcel(file): # 打开Excel文件 workbook = openpyxl.load_ ......
js处理树形结构数据过滤
最近项目经常遇到后台接口返回整个树形结构，而前端展示只需要展示部分类型的数据，需要过滤一下，所以整理了一个过滤方法。 非层级结构时过滤非常简单，只需要一层代码就够了 export function filterTree (tree) { return tree.filter(item => item ......
MQ消息中间件之RabbitMQ
1.MQ知识扩充 1.1 什么是MQ消息中间件 MQ全称 Message Queue（消息队列），是在消息的传输过程中保存消息的容器。它是应用程序和应用程序之间的通信方法 1.2 为什么使用MQ 【注：在项目中，可将一些无需即时返回且耗时的操作提取出来，进行异步处理，而这种异步处理的方式大大的节省了 ......
4分布数据库系统
全局外模式 全局概念模式 分片模式 分布模式 局部概念模式 局部内模式 局部数据库 分布透明性 分片透明性：分不分片，用户感受不到：水平分片、垂直分片、混合分片 位置透明性：数据存放在哪里，用户不用管 局部数据模型透明性（逻辑透明）：用户不用关系局部数据模型 分布式数据库管理系统组成 LDBMS G ......
过滤器Filter，拦截器Interceptor，切面AOP的使用和区别，以及全局异常处理器的使用
过滤器Filter 相比起Interceptor与AOP，Filter并不属于spring框架，而属于web环境。所以他的拦截范围会更加广，是三者中最早对数据进行拦截的。而在业务处理中，越早拦截数据对性能的拦截也会越小，所以在书写通用代码时，我们一般会优先考虑Filter。 @Slf4j @WebF ......
分布式锁
## 1.是什么 一个方法或属性在高并发情况下的同一时间只能被同一个线程执行，在传统单体应用单机部署的情况下，可以使用并发处理相关的功能进行互斥控制。但是，随着业务发展的需要，原单体单机部署的系统被演化成分布式集群系统后，由于分布式系统多线程、多进程并且分布在不同机器上，这将使原单机部署情况下的并发 ......
Python爬虫爬取北京空气质量数据并做可视化分析
一.选题背景 空气质量（Air quality）是依据空气中污染物浓度的高低来判断的，其好坏反映了空气污染程度。空气污染是一个复杂的现象，在特定时间和地点空气污染物浓度受到许多因素影响。空气质量不达标的危害有很多，例如1、危害人体：当大气中污染物的浓度很高时，会造成人体急性污染中毒，或使病状恶化，甚 ......
使用Java实现爬虫
## 一、HttpClient实现模拟HTTP访问 ### 1.1 HttpClient > HTTP 协议是 Internet 上使用得最多、最重要的协议之一，越来越多的 Java 应用程序需要直接通过 HTTP 协议来访问网络资源。虽然在 JDK 的 java net包中已经提供了访问 HTTP ......
2分布式数据库
与集中式数据库有区别 特点： 数据独立性：分布独立性，逻辑独立性物理独立性 集中与自治共享结合的控制结构：各局部的DBMS可以独立地管理局部数据库，具有自治的功能，同时，系统又设有集中控制机制，协调各局部DBMS的工作，执行全局应用 适当增加数据冗余度：在不同的场地存储同一数据的多个副本，可以提高系 ......
部署和使用单机版 FastDFS 分布式文件系统
我们工作中经常会有上传和下载文件的需求，早些年代我们一般会将上传的文件保存在网站所在的服务器上，但是现在一般网站都是负载均衡多服务器部署，因此必须要有独立的文件服务器才行。早些年代，如果有一台独立的文件服务器，一般会搭建 NFS 共享服务，给多个网站服务器之间使用。如果有多台文件服务器的话，各个服务 ......
Redis—分布式锁
# 单实例的正确实现方式 获取锁的正确操作为：` SET resource_name my_random_value NX PX 30000`，它限定了只有当锁空闲且持有锁的时间为30000ms，并且锁资源对应的 value 为一个随机值。设置随机值是为了在释放锁时，确保当前线程能够释放该锁，避免出 ......
.Net Core全局异常过滤器
一、什么是异常过滤器 在我们的项目运行中，当程序出现异常的时候就会弹窗大黄页，所以为了更方便的解决这个问题，我们采用全局过滤器 ExceptionFilterAttribute 。通过它主动捕获程序中的异常，然后经过处理再抛出信息。 二、使用异常过滤器 1.创建一个异常类 2.继承 Exceptio ......
.NetCore——全局异常过滤器ExceptionFilterAttribute
.NetCore——全局异常过滤器ExceptionFilterAttribute一、介绍在我们的项目运行中，当程序出现异常的时候就会弹窗大黄页，所以为了更方便的解决这个问题，我们采用全局过滤器 ExceptionFilterAttribute 。通过它主动捕获程序中的异常，然后经过处理再抛出信息。 ......