爬虫 中间件 分布式 过滤器
java过滤器拦截sql注入和xss
import javax.servlet.*; import javax.servlet.annotation.WebFilter; import javax.servlet.http.HttpServletRequest; import javax.servlet.http.HttpServlet ......
【面试题精讲】Redis如何实现分布式锁
[首发博客地址](https://blog.zysicyj.top/) [系列文章地址](https://blog.zysicyj.top/categories/技术文章/后端技术/系列文章/面试题精讲/) Redis 可以使用分布式锁来实现多个进程或多个线程之间的并发控制，以确保在给定时间内只有一 ......
SequoiaDB分布式数据库2023.8月刊
本月看点速览 再获认可！巨杉数据库荣登多份Gartner研究报告 未来可期！广州市南沙区发改局局长杨帆一行莅临巨杉数据库 聚焦金融，巨杉数据库入选“2023 IDC中国FinTech 50” 专注创新，荣获2023胡润中国元宇宙潜力企业未来之星 再获认可！巨杉数据库荣登多份Gartner研究报告 近 ......
分布式架构
[TOC] # 认识微服务 单体架构：将业务的所有功能集中在一个项目中开发，打成一个包部署 特点：简单方便、高度耦合、扩展性差，适合小型项目。例如：学生管理系统 ![](https://img2023.cnblogs.com/blog/2688333/202309/2688333-202309021 ......
分布式存储FusionStorage将搬迁走的计算节点踢出集群
1、登录Device Manager管理界面，在服务-vbs页面下，选中已经异常的VBS，将异常的VBS进行强制删除。 2、通过第三方远程连接工具，连接进FSM后台，IP为浮动IP，用fsadmin用户进入，切换到root用户。 fsadmin 默认密码：IaaS@OS-CLOUD9！ 2.1执行s ......
shell之ceph分布式存储OSD使用率监控实战脚本
ceph分布式存储集群中osd使用满了后，集群将无法提供存储服务，无法继续写入数据，只读。所以需要对osd使用率进行监控以便及时扩容或者迁移数据 ......
过滤规则推荐
常用的广告过滤工具： Adblock Plus uBlock Origin AdGuard AdSafe 广告过滤规则 常用的广告过滤规则： 乘风广告过滤规则：地址1 地址2 EasyPrivacy：EasyPrivacy 是隐私保护，不被跟踪。 CJX's Annoyance List：过滤烦 ......
redis分布式锁
public static final String SET_NX_SCRIPT = "if redis.call('setnx', KEYS[1], ARGV[1]) == 1 then return redis.call('expire', KEYS[1], ARGV[2]) else retu ......
Redis实例应用(应用场景+分布式锁)
1.redis的实际使用实例 1.1 热点数据的实际缓存 缓存缓存，在实际应用中，我们通常会把查询数据次数高的数据放入到Redis中，以便减轻后方数据库的压力。 当缓存数据存入到Redis中，下次在访问相同的数据时，就不在直接操作数据库，直接从Redis中取缓存数据 【注：我们通常会把查询频率高的数 ......
.Net Core5.0使用中间件记录请求日志的注意事项
前言：走进.net core5.0以后，我们会接触到中间件，中间件类似于程序的通道的一部分，也是进出程序所必须进过的一个环节。那么我们就可以利用中间件去记录程序所有相关的操作记录。 1-Startup.cs配置中间件(注意中间件的放置位置，位置不同会影响日志数据的读取，也可能读不到想要的数据或抛出异 ......
Kafka的分布式架构与高可用性
导语 一开始我们就说过Kafka是一款开源的高吞吐、分布式的消息队列系统，那么今天我们就来说下它的分布式架构和高可用性以及双/多中心部署。 Kafka 体系架构简介 以下是 Kafka 的软件架构，整个 Kafka 体系结构由 Producer、Consumer、Broker、ZooKeeper 组 ......
如何使用ASP.NET Core 中的响应缓存中间件
## 提问 ASP.NET Core 中的响应缓存中间件 ## 回答 1. 缓存条件 请求必须生成带有 200 (OK) 状态代码的服务器响应。 请求方法必须是 GET 或 HEAD。 响应缓存中间件必须放置在需要缓存的中间件之前。 有关详细信息，请参阅 ASP.NET Core 中间件。 不能出现 ......
MySQL系列之主从复制进阶——延时从库、半同步、过滤复制、GTID复制
[toc] # 1. 延时从库 ## 1.1介绍 ```python 是我们认为配置的一种特殊从库.人为配置从库和主库延时N小时. ``` ## 1.2 为什么要有延时从 ```python 数据库故障? 物理损坏 主从复制非常擅长解决物理损坏. 逻辑损坏 普通主从复制没办法解决逻辑损坏 ``` # ......
Java爬虫实战系列——常用的Java网络爬虫库
## 常用的Java网络爬虫库 Java 开发语言是业界使用最广泛的开发语言之一，在互联网从业者中具有广泛的使用者，Java 网络爬虫可以帮助 Java 开发人员以快速、简单但广泛的方式为各种目的抓取数据。平常我们在讨论网络爬虫的时候，很多人都会想到使用 Python 语言，因为与 Python 相 ......
Java爬虫实战系列——常用的Java网络爬虫库
## 常用的Java网络爬虫库 Java 开发语言是业界使用最广泛的开发语言之一，在互联网从业者中具有广泛的使用者，Java 网络爬虫可以帮助 Java 开发人员以快速、简单但广泛的方式为各种目的抓取数据。平常我们在讨论网络爬虫的时候，很多人都会想到使用 Python 语言，因为与 Python 相 ......
servlet过滤器
在现实生活之中，水经过一层层的过滤处理才达到饮用标准，每一层过滤都起一种“净化”的作用。java web中的servlet过滤器与过滤水的原理相似，servlet过滤器主要用于对客户端（浏览器）的请求进行过滤处理，再将过滤后的请求转交给下一资源，它在java web开发中具有十分重要的作用。 什么是 ......
Spring Boot - 注册过滤器
# 过滤器 Token 验证过滤器，如果没有携带 Token 说明没有登录，或服务器没有颁发合法的 Token 给客户端。 ```java public class TokenFilter extends HttpFilter { @Override protected void doFilter( ......
Seata解决分布式事务
### 简介 Seata 是阿里开源的一款开源的分布式事务解决方案，致力于提供高性能和简单易用的分布式事务服务。 ### 初始化数据库 创建 seata 库，初始化脚本如下 ```sql -- The script used when storeMode is 'db' -- the table t ......
request请求爬虫（只适用与一般网站）------生产实习
导包 导入requests发起请求包、bs4解析器、os文件操作等相关的包 import requests from bs4 import BeautifulSoup import os #文件 url设置 selector的选择 设置url 对url使用requests发出请求 ，再同通过bs4的 ......
快速搭建 Seata Service 分布式事务
# 快速搭建 Seata Service 分布式事务 Seata 是一款开源的分布式事务解决方案，致力于在微服务架构下提供高性能和简单易用的分布式事务服务。 [Seata官网](https://seata.io/zh-cn/index.html) [下载地址](https://seata.io/zh ......
Java8 使用 stream().filter()过滤List对象（查找符合条件的对象集合）
## 内容简介 本文主要说明在Java8及以上版本中，使用stream().filter()来过滤一个List对象，查找符合条件的对象集合。 ## List对象类（StudentInfo） ``` java public class StudentInfo implements Comparable ......
vim evil 处理大于号小于号中间的文本
// 删除和中间的文本 ca 参考链接: [[https://www.cnblogs.com/wkfvawl/p/9821411.html][键盘符号中英文对照表 - 王陸 - 博客园 '0.0']] [[https://github.com/tpope/vim-surround/issues/20 ......
分布式深度学习技术概述
分布式深度学习技术有哪些？ 分布式深度学习技术是指将深度学习模型的训练过程分布在多个计算资源上进行加速的技术。这样可以充分利用集群中的多个GPU、CPU或者多台计算机，加快深度学习模型的训练过程，提高训练效率。以下是一些常见的分布式深度学习技术： 数据并行：将训练数据划分成多个子集，每个计算节点使用 ......
PyTorch多卡分布式训练DDP单机多卡
PyTorch多卡分布式训练：DistributedDataParallel (DDP) 简要分析 前言 因为课题组发的卡还没有下来，先向导师问了实验室的两张卡借用。之前都是单卡训练模型，正好在这个机会实践以下单机多卡训练模型的方法。关于 DDP 网上有很多资料，但都比较零碎（有些博客的代码甚至没办 ......
R语言GARCH族模型：正态分布、t、GED分布EGARCH、TGARCH的VaR分析股票指数|附代码数据
全文链接：http://tecdat.cn/?p=31023 最近我们被客户要求撰写关于GARCH族模型的研究报告，包括一些图形和统计输出。 如何构建合适的模型以恰当的方法对风险进行测量是当前金融研究领域的一个热门话题 （ 点击文末“阅读原文”获取完整代码数据******** ）。 VaR方法作为当 ......
TIDB - 分布式数据库
# TIDB（一） ## 重点 ### TIDB核心 - [x] 数据存储-RocksDB - [ ] Raft 协议 选举 数据同步 - [x] MVCC - [x] 表数据与kv映射关系 - [x] 索引数据与kv 映射关系 - [x] 元数据和sql 层计算 - [ ] PD调度 - [ ] ......
Netcore CAP分布式事务实践
Netcore CAP分布式事务实践 1、 分布式事务解决方案之可靠消息最终一致性 可靠消息最终一致性方案是指当事务发起方执行完成本地事务后并发出一条消息，事务参与方(消息消费者)一定能够接收消息并处理事务成功，此方案强调的是只要消息发给事务参与方最终事务要达到一致。 事务发起方（消息生产方）将消息 ......
redis分布式锁，setnx+lua脚本的java实现
本文是基于redis缓存实现分布式锁，其中使用了setnx命令加锁，expire命令设置过期时间并lua脚本保证事务一致性。Java实现部分基于JIMDB提供的接口。 ......
Python+协同过滤算法实现一个简单的图书推荐系统
 ## 背景介绍 当我们做一些推荐系统网站时，通常需要合适的推荐算法，下面给大家介绍推荐系统中经典的推荐算 ......