爬虫 规则 分布式 中间件
ASP.NET Core - 缓存之分布式缓存
分布式缓存是由多个应用服务器共享的缓存，通常作为访问它的应用服务器的外部服务进行维护。 分布式缓存可以提高 ASP.NET Core 应用的性能和可伸缩性，尤其是当应用由云服务或服务器场托管时。 与其他将缓存数据存储在单个应用服务器上的缓存方案相比，分布式缓存具有多个优势。 当分发缓存数据时，数据： ......
Day 24 24.1 Scrapy框架之下载中间件
Scrapy框架之下载中间件 class MyDownMiddleware(object): def process_request(self, request, spider): """ 请求需要被下载时，经过所有下载器中间件的process_request调用 :param request: : ......
由浅入深详解四种分布式锁
在多线程环境下，为了保证数据的线程安全，锁保证同一时刻，只有一个可以访问和更新共享数据。在单机系统我们可以使用synchronized锁或者Lock锁保证线程安全。synchronized锁是Java提供的一种内置锁，在单个JVM进程中提供线程之间的锁定机制，控制多线程并发。只适用于单机环境下的并发 ......
实现声明式锁，支持分布式锁自定义锁、SpEL和结合事务
工作中遇到事务一般使用声明式事务，一个注解@Transactional搞定。编程式事务则显得略繁琐。 @Autowired private PlatformTransactionManager transactionManager; public void service() throws Exce ......
asp.netcore 获取中间件列表
var applicationBuilderInfo = app.GetType().GetProperty("ApplicationBuilder", BindingFlags.NonPublic | BindingFlags.Instance | BindingFlags.IgnoreCase) ......
测试用例id命名规则
测试用例ID： 测试用例编号自行命名，使用英文和数字以及下划线，不得重复，格式为： 特性命名规则：tc_一级特性(英文）_二级特性(英文）_三级特性(英文）_0X（01-99）_00X（001-999） 功能格式为：fc_一级特性(英文）_二级特性(英文）_三级特性(英文）_0X（01-99）_00 ......
渗透测试_中间件安全
常见的中间件 IIS Apache Tomcat Nginx Jboss WebLogic WebSphere IIS IIS 6.X PUT 漏洞 利用条件 利用方式 修复方式 IIS 6.0 解析漏洞 利用条件 利用方式 修复方式 IIS 短文件漏洞 利用条件 利用方式 修复方式 IIS 6.0 ......
nginx中的正则表达式，location路径匹配规则和优先级
前言，我这里验证的nginx-v1.23.2单机环境下的nginx中的正则表达式、location路径匹配规则和优先级。先准备好环境，基础配置是这样 nginx/conf/conf.d/host.conf ： server { listen 8081; server_name 10.90.5.70; ......
记一次python写爬虫爬取学校官网的文章
有一位老师想要把官网上有关数字化的文章全部下载下来，于是找到我，使用python来达到目的 首先先查看了文章的网址 获取了网页的源代码发现一个问题，源代码里面没有url，这里的话就需要用到抓包了，因为很明显这里显示的内容是进行了一个请求，所以只能通过抓包先拿到请求的url从而获得每一篇文章对应的ur ......
基于Mongodb分布式锁简单实现，解决定时任务并发执行问题
前言 我们日常开发过程，会有一些定时任务的代码来统计一些系统运行数据，但是我们应用有需要部署多个实例，传统的通过配置文件来控制定时任务是否启动又太过繁琐，而且还经常出错，导致一些异常数据的产生 网上有很多分布式锁的实现方案，基于redis、zk、等有很多，但是我的就是一个用了mysql和mongo的 ......
高性能消息中间件-Nats使用
一、Nats简介 官网：https://nats.io/ 官网下载：https://nats.io/download/ github:https://github.com/nats-io/nats-server/releases dockerhub:https://hub.docker.com/_/ ......
不规则格式进行文字识别
public static void main(String[] args) throws Exception{ String strText = "申请人：张三，男，汉族，1999年9月9日生，身份证号：123456789012345678，住址：测试地址8幢8单元8号，联系方式：028—1234 ......
iptables命令常用规则汇总
iptables非常强大，但是参数选项多，学习成本较高。本文将常用的iptables的命令进行汇总，在关键时刻方便拿来即用。 iptables的四表五链 iptables的四表五链是指iptables中的四个表和五个链。四个表分别是： filter表：用于过滤数据包，控制网络流量。 nat表：用于对 ......
微服务 - Redis缓存 · 数据结构 · 持久化 · 分布式 · 高并发
分布式解决 Session 的问题，内存数据库 Redis 特性，单线程IO多路复用，重要配置项，数据类型，常用命令，Redis数据结构，动态字符串 SDS，压缩列表 ziplist，紧凑列表 listpack，跳跃列表 skiplist，持久化 RDB/AOF，分布式集群，虚拟插槽，分布式锁，Lu... ......
中间件测试
一、中间件分类 中间件：系统软件与应用软件之间连接的软件，以便于各软件之间的沟通。主要功能是将应用程序运行环境与操作系统隔离，从而实现开发者无须关注系统问题，而直接关注应用程序在解决问题上的能力。比如:炸鸡店和养鸡场中间的中间商就是中间件，可以为多种应用程序合作互通、资源共享，同时能为该应用程序提供 ......
Python认识爬虫与反爬虫
爬虫：通过计算机去获取信息，以节约人力成本，不节约的就不需要用了。 反爬虫的最终：区别计算机和人，从而达到，排除计算机的访问，允许人的访问。 最终结论：爬虫与反爬虫都是有尽头的。 爬虫的尽头就是极度模拟用户（自动化）。 反爬虫的尽头就是机器无法识别而人类可以识别的验证码。 所以，省事的话，不如只学一 ......
一种通过编码的反爬虫机制
遇到一个反爬虫机制，该网页为gbk编码网页，但是请求参数中，部分请求使用gbk编码，部分请求使用utf8编码，还设置了一些不进行编码的安全字符，在爬取的过程中形成了阻碍。 提示：在认为参数设置正常，又无法正确爬取数据的情况下，通过response.requests.headers和esponse.r ......
Nginx 加强 WordPress 防护的规则
Nginx+ WordPress 的组合是目前非常普及的组合了，我们完全可以借助 Nginx 规则来加强 WordPress 的防护，提高 WordPress 的安全性，今天明月就给大家分享个自用的 Nginx 针对 WordPress 的防护规则，部分规则大家只需要根据自己的需要进行调整即可。 # ......
makefile使用总结--规则
本文参考《跟我一起写 Makefile》编写，并做了一些适合个人习惯的修改，稍加总结而成。 一篇文章肯定不够详细记录makefile所有的知识，所以这篇接着描述Makefile的规则。 规则包含两个部分，一个是依赖关系，一个是生成目标的方法。 在Makefile中，规则的顺序是很重要的，因为，Mak ......
集群高并发情况下如何保证分布式唯一全局Id生成
集群高并发情况下如何保证分布式唯一全局Id生成 问题 为什么需要分布式全局唯一ID以及分布式ID的业务需求 在复杂分布式系统中，往往需要对大量的数据和消息进行唯一标识，如在美团点评的金融、支付、餐饮、酒店 猫眼电影等产品的系统中数据逐渐增长，对数据库分库分表后需要有一个唯一ID来标识一条数据或信息； ......
lamp分布式（FGCI）部署+discuz论坛
环境： 主机名 | IP地址 |部署服务 | | | root@httpd|192.168.1.61 | httpd网站服务 root@mysql|192.168.1.62|mysql数据库| root@php|192.168.1.63|php动态页面 一.搭建httpd服务（192.168.1.6 ......
2、ShardingSphere中间件（二）
一、ShardingSphere中间件： 1、简介： （1）、概述： ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈，它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar这三款相互独立的产品组成。他们均提供标准化的数据分片、分 ......
管理后台中间件解析
前言： 管理后台中间件主要作用， 登录判断， 获取管理员及权限信息， 记录日志 正文： 文件：admins/middleware/adminMid.go //声明一个接收用户基本信息的结构体 type UserInfo struct { UserName string UserTrueName st ......
常用API(爬虫，正则表达式)
常用API（爬虫，正则表达式） 爬虫 本地爬虫：Pattern：表示正则表达式； Matches：文本匹配器，作用按照正则表达式的规则读取字符串，从头开始读取，在大串中去找符合匹配规则的子串； find：1.拿着文本匹配器从头开始读取，寻找是否有满足规则的子串；如果没有，方法返回fals ......
MySQL中间件mycat-01
@ mycat基础概念 1、什么是MyCat 一个彻底开源的，面向企业应用开发的大数据库集群 支持事务、ACID、可以替代MySQL的加强版数据库 一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群 一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server ......
m规则LDPC和非规则LDPC误码率matlab对比仿真,并对比不同译码迭代次数的误码率
1.算法仿真效果 matlab2022a仿真结果如下： 2.算法涉及理论知识概要 LDPC码是麻省理工学院Robert Gallager于1963年在博士论文中提出的一种具有稀疏校验矩阵的分组纠错码。几乎适用于所有的信道，因此成为编码界近年来的研究热点。它的性能逼近香农极限，且描述和实现简单，易于进 ......
Seata分布式事务
Seata 目录旁边可以查询具体的目录结构和跳转 一.分布式事务 1.原子性（atomicity）：个事务是一个不可分割的工作单位，事务中包括的诸操作要么都做，要么 都不做。 2.一致性（consistency）：事务必须是使数据库从一个一致性状态变到另一个一致性状态，事务 的中间状态不能被观察到的 ......
python爬虫scrapy框架的使用
总结 scrapy startproject name scrapy genspider baidu http://www.baidu.com scrapy crawl baidu scrapy项目创建 scrapy startproject scrapy_baidu_091 创建爬虫文件 在spi ......