爬虫 规则 分布式 中间件
pytorch分布式训练报错：Duplicate GPU detected : rank 1 and rank 0 both on CUDA device 35000
之前使用的比较老的torch 1.8.1，换到torch 2.0后报错 "rank 1 and rank 0 both on CUDA device 35000" 将main函数开头部分的初始化 ```python distributed.init_process_group(backend='nc ......
初识网络爬虫基本原理
首先精心选择一些URL，把这些精心选择的URL放入URL队列中，从对列中捉取代取的URL读取URL之后开始解析DNS，把这些URL下载下来放入网页库中。 基本流程就是：发送请求－获取响应内容－解析内容－保存数据。 从网络爬虫的角度可以把互联网分为五种 １；已下载未过期网页 ２；已下载过期网页 ３；待 ......
使用中间件
使用中间件 Express 是一个路由和中间件 Web 框架，它自己的功能很少：Express 应用程序本质上是一系列中间件函数调用。 中间件函数是有权访问请求对象 （）、响应对象 （） 和应用程序请求-响应周期中的下一个中间件函数的函数。下一个中间件函数通常由名为 的变量表示。reqresnext ......
分布式理论 - BASE
> BASE是“Basically Available, Soft state, Eventually consistent(基本可用、软状态、最终一致性)”的首字母缩写。其中的软状态和最终一致性这两种技巧擅于对付存在分区的场合，并因此提高了可用性。 # 什么是BASE > eBay 的架构师 Da ......
分布式理论 - CAP
> CAP理论是分布式系统、特别是分布式存储领域中被讨论的最多的理论。其中C代表一致性 (Consistency)，A代表可用性 (Availability)，P代表分区容错性 (Partition tolerance)。CAP理论告诉我们C、A、P三者不能同时满足，最多只能满足其中两个。 # CA ......
redis分布式锁幂等性问题
一.与Transcational注解同时使用 如果是自定义的切面，切面类要加@Order(Ordered.HIGHEST_PRECEDENCE)， 保证redis锁的切面在事务切面外面，让事务先提交，再释放redis锁。 二.日期字段是datetime 背景：jmeter 500并发测试接口出现重复 ......
python用tkinter写一个文件对比的小工具，将两个excel文件进行对比，将两个列表差异保存到另一个新建的excel文件中，列表左边为第一个表的不同，右边为第二个表的不同，中间空出三列
先写文件对比的逻辑代码，包括读取文件，对比文件，将对比出来的差异写入另一个excel文件 1.读取文件，我这里是选取自己需要的不同的列，选定了指定的sheet列表，读者可根据需求更改 def readexcel(file): # 打开Excel文件 workbook = openpyxl.load_ ......
nginx location配置规则与经验
Linux系统-部署-运维系列导航 文档说明 nginx使用过程中，配置最多的，最难以理解的，也是最容易出问题的，就是location块级指令，本文旨在将location相关配置规范以及使用经验，搜集汇总，便于需要时查看。 特别说明：本文详细内容大部分为网络搜集整理，旨在提供一条学习路线，让我们有条 ......
MQ消息中间件之RabbitMQ
1.MQ知识扩充 1.1 什么是MQ消息中间件 MQ全称 Message Queue（消息队列），是在消息的传输过程中保存消息的容器。它是应用程序和应用程序之间的通信方法 1.2 为什么使用MQ 【注：在项目中，可将一些无需即时返回且耗时的操作提取出来，进行异步处理，而这种异步处理的方式大大的节省了 ......
4分布数据库系统
全局外模式 全局概念模式 分片模式 分布模式 局部概念模式 局部内模式 局部数据库 分布透明性 分片透明性：分不分片，用户感受不到：水平分片、垂直分片、混合分片 位置透明性：数据存放在哪里，用户不用管 局部数据模型透明性（逻辑透明）：用户不用关系局部数据模型 分布式数据库管理系统组成 LDBMS G ......
通用规则平台的设计与应用
获取更多技术干货哦～作者：罗京部门：增长中心一、背景当下，直播带货已经成为一种重要的消费场景。它重构了传统商场乃至电商的人货场关系，打造了一种即时的、沉浸式的消费体验。有赞做为一个商家 SaaS 服务公司，为商家提供了商品管理，售卖的全流程服务，其中就对接了许多直播带货的渠道，例如快手、陌陌、微博、 ......
分布式锁
## 1.是什么 一个方法或属性在高并发情况下的同一时间只能被同一个线程执行，在传统单体应用单机部署的情况下，可以使用并发处理相关的功能进行互斥控制。但是，随着业务发展的需要，原单体单机部署的系统被演化成分布式集群系统后，由于分布式系统多线程、多进程并且分布在不同机器上，这将使原单机部署情况下的并发 ......
JS中函数的上下文和上下文规则
JS：函数的上下文、上下文规则、call和apply指定上下文 JS中函数的上下文和上下文规则一、函数的上下文函数中可以使用this关键字，它表示函数的上下文函数中的this具体指代什...... JS中函数的上下文和上下文规则 一、函数的上下文 函数中可以使用this关键字，它表示函数的上下文 函 ......
[SQL Server]无法解决 equal to 运算中 "SQL_Latin1_General_CP1_CI_AS" 和 "Chinese_PRC_CI_AS" 之间的排序规则冲突。
错误信息： [SQL Server]无法解决 equal to 运算中 "SQL_Latin1_General_CP1_CI_AS" 和 "Chinese_PRC_CI_AS" 之间的排序规则冲突。 场景： 一个简单的SQL语句，因为团队合作建表时排序方式不同，两个字段无法比较 select mca ......
Python爬虫爬取北京空气质量数据并做可视化分析
一.选题背景 空气质量（Air quality）是依据空气中污染物浓度的高低来判断的，其好坏反映了空气污染程度。空气污染是一个复杂的现象，在特定时间和地点空气污染物浓度受到许多因素影响。空气质量不达标的危害有很多，例如1、危害人体：当大气中污染物的浓度很高时，会造成人体急性污染中毒，或使病状恶化，甚 ......
uniapp小程序隐私协议弹窗组件。自2023年9月15日起，对于涉及处理用户个人信息的小程序开发者，微信要求，仅当开发者主动向平台同步用户已阅读并同意了小程序的隐私保护指引等信息处理规则后，方可调用微信提供的隐私接口
上代码 隐私组件代码 直接复制 就能用 <template> <view class="zero-privacy" :class="[{'zero-bottom':position=='bottom'}]" v-if="showPrivacy"> <view class="zero-privacy- ......
使用Java实现爬虫
## 一、HttpClient实现模拟HTTP访问 ### 1.1 HttpClient > HTTP 协议是 Internet 上使用得最多、最重要的协议之一，越来越多的 Java 应用程序需要直接通过 HTTP 协议来访问网络资源。虽然在 JDK 的 java net包中已经提供了访问 HTTP ......
2分布式数据库
与集中式数据库有区别 特点： 数据独立性：分布独立性，逻辑独立性物理独立性 集中与自治共享结合的控制结构：各局部的DBMS可以独立地管理局部数据库，具有自治的功能，同时，系统又设有集中控制机制，协调各局部DBMS的工作，执行全局应用 适当增加数据冗余度：在不同的场地存储同一数据的多个副本，可以提高系 ......
drools规则引擎部署和docker安装
一、docker安装 在 Ubuntu 20.04 LTS（或更高版本） 中安装 Docker 0、若安装过旧版本，使用以下命令卸载 sudo apt-get remove docker \ docker-engine \ docker.io 1、更新 Ubuntu 打开终端，依次运行下列命令： s ......
部署和使用单机版 FastDFS 分布式文件系统
我们工作中经常会有上传和下载文件的需求，早些年代我们一般会将上传的文件保存在网站所在的服务器上，但是现在一般网站都是负载均衡多服务器部署，因此必须要有独立的文件服务器才行。早些年代，如果有一台独立的文件服务器，一般会搭建 NFS 共享服务，给多个网站服务器之间使用。如果有多台文件服务器的话，各个服务 ......
Redis—分布式锁
# 单实例的正确实现方式 获取锁的正确操作为：` SET resource_name my_random_value NX PX 30000`，它限定了只有当锁空闲且持有锁的时间为30000ms，并且锁资源对应的 value 为一个随机值。设置随机值是为了在释放锁时，确保当前线程能够释放该锁，避免出 ......
【面试题精讲】Redis如何实现分布式锁
[首发博客地址](https://blog.zysicyj.top/) [系列文章地址](https://blog.zysicyj.top/categories/技术文章/后端技术/系列文章/面试题精讲/) Redis 可以使用分布式锁来实现多个进程或多个线程之间的并发控制，以确保在给定时间内只有一 ......
SequoiaDB分布式数据库2023.8月刊
本月看点速览 再获认可！巨杉数据库荣登多份Gartner研究报告 未来可期！广州市南沙区发改局局长杨帆一行莅临巨杉数据库 聚焦金融，巨杉数据库入选“2023 IDC中国FinTech 50” 专注创新，荣获2023胡润中国元宇宙潜力企业未来之星 再获认可！巨杉数据库荣登多份Gartner研究报告 近 ......