爬虫 规则 分布式 中间件
mssqlserver 修改排序规则
--1.修改为单用户模式ALTER DATABASE ITPM_UIDATA SET SINGLE_USER WITH ROLLBACK IMMEDIATE;go --2.修改数据库字符集：Chinese_PRC_90_CI_ASALTER DATABASE ITPM_UIDATA COLLATE ......
分布式资源调度框架YARN
1、YARN=Yet Another Resource Negotiator 2、主从架构，一主多从3、主=ResourceManager,从=NodeManager4、ResourceManager由ApplicationManager和ResourceScheduler组成5、NodeManag ......
redis分布式锁实现原理
在.net core 中，可以使用StackExchange.Redis实现redis分布式锁， /// <summary>/// 分布式锁/// </summary>/// <param name="Redis">RedisDB</param>/// <param name="Key">锁标识</ ......
Illegal mix of collations (utf8mb4_0900_ai_ci,IMPLICIT) MySql字符集及校对规则不一致问题
查询时报错 -- 用于解决报错 > 1267 - Illegal mix of collations (utf8mb4_0900_ai_ci,IMPLICIT) and (utf8mb4_general_ci,IMPLICIT) for operation '=' 这个错误是由于在进行比较操作时涉及 ......
分布式系统的困难点
分布式系统在技术上需要注意的问题 问题1：异构系统的不标准问题 问题2：系统架构中的服务依赖性问题 问题3：故障发生的概率更大 问题4：多层架构的运维复杂度更大 ......
分布式事务-Seata解决方案
一、定义 Seata解决方案是分布式事务解决方案之一。常用的分布式事务解决方案有：2PC,3PC,TCC,SAGA(seata)、本地消息表、MQ消息事务、最大努力通知。 Seata是一款分布式解决方案，致力于提供高性能和简单易用的分布式事务服务。提供事务模式有：AT,TCC,SAGA,XA。其中A ......
分布式主键
核心概念 :: ShardingSphere https://shardingsphere.apache.org/document/current/cn/features/sharding/concept/ 分布式主键 传统数据库软件开发中，主键自动生成技术是基本需求。而各个数据库对于该需求也提供了 ......
Sentinel——系统规则（系统自适应保护）
目录系统自适应保护系统规则 系统自适应保护 Sentinel 系统自适应保护从整体维度对应用入口流量进行控制，结合应用的 Load、总体平均 RT、入口 QPS 和线程数等几个维度的监控指标，让系统的入口流量和系统的负载达到一个平衡，让系统尽可能跑在最大吞吐量的同时保证系统整体的稳定性。[1] 系统 ......
爬虫作业（博客作业）
1.get()访问bing主页 import requests url = 'https://www.bing.com' for i in range(20): response = requests.get(url) print(f"第{i+1}次访问") print(f'Response sta ......
在中间件中使用 Scoped 模式服务
作用域（Scoped）服务和瞬时（Transient）服务都与请求的生命周期相关，但它们之间有一些区别。 1. 作用域（Scoped）服务： - 作用域服务的生命周期与每个请求的生命周期相对应。也就是说，每个请求都会创建一个作用域服务的实例，并且在请求处理过程结束时该实例将被释放。 - 作用域服务在 ......
Nginx篇之路由匹配规则以及配置url转发
alias与root的区别 root 实际访问文件路径会拼接URL中的路径 alias 实际访问文件路径不会拼接URL中的路径 示例如下： location ^~ /sta/ { alias /usr/local/nginx/html/static/; } 请求：http://test.com/st ......
Zookeeper——分布式一致性协议及Leader选举原理
一、引言 随着业务的增长，单体架构发展为分布式架构，大大提升了业务的处理能力，但同时也带来了很多单体架构不存在的问题，如： 各节点之间网络通信的异常以及因其引起的脑裂问题（网络分区）。 引出“三态”。在单体架构中只会存在“成功”或“失败”两种结果，但是在分布式架构中由于网络异常将会出现“未知”的结果 ......
第三单元 管道与中间件
1. 什么是中间件 在ASP.NET Core中，中间件(Middleware)是一个可以处理HTTP请求或响应的软件管道。 ASP.NET Core中给中间件组件的定位是具有非常特定的用途。例如，我们可能有需要一个中间件组件验证用户，另一个中间件来处理错误，另一个中间件来提供静态文件，如JavaS ......
使用分布式事务 Seata 的 TCC 模式
Seata 的 TCC 模式需要通过人工编码来实现数据的回滚恢复，有点麻烦，但是性能最高。TCC 是 3 个方法的首字母缩写，即 Try 方法、Confirm 方法、Cancel 方法。Try 方法进行资源的检查和冻结，Confirm 方法是当所有事务都成功后调用的方法，Cancel 方法是当整体事 ......
Seata 分布式事务
Seata 分布式事务 #Seata中间件# Seata是 2019 年 1 月份蚂蚁金服和阿里巴巴共同开源的分布式事务解决方案。致力于提供高性能和简单易用的分布式事务服务，为用户打造一站式的分布式解决方案。 官网地址：http://seata.io/ CAP定理和Base理论 这两个在前面弄N ......
mapstruct 高级用法自定义转换规则
https://svip888.blog.csdn.net/article/details/115706803?spm=1001.2101.3001.6650.15&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRL ......
StackGres 数据库平台工程，使用 Citus + Patroni 创建生产级高可用分布式 PostgreSQL 分片集群
系列 StackGres, 可私有部署的云原生数据库平台工程 StackGres 数据库平台工程功能介绍与快速上手 StackGres 1.6 数据库平台工程集群配置管理(K8S Pods/PostgreSQL/PgBouncer) StackGres 1.6 数据库平台工程，集群高可用(Patro ......
起名规则以及流程控制
起名规则 1.只能使用64个字符 大小写字母 10个数字 _ $ 2.数字不能开头 3.不能使用非英文字符，不能_ $开头 常量起名:每个单词的所有字母大写 多单词下划线_隔开 final 最终不可变的 修饰的是常量只能赋值一次 流程控制 程序是怎样执行的 1.顺序结构:函数内部 从上向下 逐行执行 ......
4、爬虫脚本采集中科商务网区域工商信息
1、需求：采集中科商务网区域工商信息2、需求数据字段： '名称': [title],'摘要': [content],'联系人': [lx_b],'联系电话': [tel],'电子邮件': [email],'公司地址': [address],'法定代表人': [fr],'经营状态': [state], ......
HydroOJ 踩坑指南（1）狡猾的分布式官方文档
本系列旨在记录使用HydroOJ时的一些坑点，更全的说明文档请查看官方文档。 欢迎联系本人 QQ 补充: 2422609586. HydroOJ 官方QQ群: 1085853538. 入门第一坑：官方文档不止一处！ 都说学习项目要先认真读文档，HydroOJ的文档使用了分布式阅读系统，并异地多中心部 ......
.NET——中间件与管道
中间件： 中间件是什么，可以干什么： 在 .NET 中，中间件是一种用于处理 HTTP 请求和响应的组件。它们将请求传递给下一个中间件或终端处理程序，并允许开发人员在请求处理的不同阶段执行自定义操作。以下是一些常见的 .NET 中间件： Authentication Middleware：用于认证用 ......
使用Slurm集群进行分布式图计算：对Github网络影响力的系统分析
本文在华为云弹性云服务器集群中部署Slurm作业调度系统，并运行针对Github协作网络影响力分析的分布式图计算应用程序。 ......
redis 规则设置
必须明确应用场景，1）作为缓存还是存储；2）数据丢失对应用的影响 解释：与持久化关系数据库（MySQL通过Redo可保证数据不丢）不同，Redis在故障时会丢失分钟级别数据，业务必须确保不会受到影响 禁止命令：keys、flushall、flushdb；针对大key禁止命令：hgetall，hkey ......
Sentinel——热点规则
目录热点规则配置热点规则API配置热点规则 热点规则 热点规则是用于实现热点参数限流的规则。热点参数限流指的是，在流控规则中指定对某方法参数的 QPS 限流后，当所有对该资源的请求URL中携带有该指定参数的请求 QPS 达到了阙值，则发生限流。 配置热点规则 controller package c ......
使用分布式事务 Seata 的 AT 模式
有了上篇博客实现 XA 模式的基础，本篇博客在实现 AT 模式时，不需要修改任何代码，只需要增加一张数据库表，修改以下 application.yml 配置即可实现。AT 模式也是分两个阶段提交的事务模型，它缺弥补了 XA 模型中资源锁定周期过长的问题。 其实现的两个阶段的工作原理如下： 第一阶段注 ......
gin使用Logger中间件时不显示特定 api path的访问日志
gin使用默认Logger跳过某些api path 一般初始化一个gin.Engine会使用 gin.Default 将你需要过滤的api path添加到Logger的config中： r := gin.New() r.Use(gin.LoggerWithConfig(gin.LoggerConfi ......
toad最终版中间带循环
KS循环 testks=pd.ExcelWriter('test1.xlsx') columns_df=pd.DataFrame(mx2.columns) for i,j in enumerate(mx2.columns): result=toad.metrics.KS_bucket(mx[j],m ......
Sentinel——授权规则
授权规则 授权规则是一种通过对请求来源进行甄别的鉴权规则。规则规定了哪些请求可以通过访问，而哪些请求则是被拒绝访问的。而这些请求的设置是通过黑白名单来完成的。 无论是黑名单还是白名单，其实就是一个请求来源名称列表。出现在来源黑名单中的请求将被拒绝访问，而其它来源的请求则可以正常访问;出现在来源白名单 ......
分布式协同（万字长文）
分布式协同 分布式协同，也叫分布式协调，是在计算机网络中，不同的硬件或软件组件完成各自的任务，然后通过协同工作来解决问题。 在分布式系统中，不同的节点需要进行信息的交换，以达到一致的状态。这个过程就需要分布式协调。例如，我们要保证在分布式系统中的所有节点上的数据是最新的，就需要用到分布式协调。 分布 ......
分布式事务~seata的使用
springcloud-nacos-seata 分布式事务组件seata的使用demo，AT模式，集成nacos、springboot、springcloud、mybatis-plus，数据库采用mysql demo中使用的相关版本号，具体请看代码。如果搭建个人demo不成功，验证是否是由版本导致， ......