分布式 一代 框架 任务
SpringMVC框架详解：模型+核心组件+实现原理等详解
MVC模型 Spring MVC 基于 MVC 模式，因此理解 Spring MVC 需要先对 MVC 模式有所了解。 MVC是 model、view、和controller的缩写，是软件开发中一种常用的架构模式。 MVC各部分根据职责进行分离，使程序的结构更为直观，增加了程序的可扩展性、可维护性、 ......
JAVA微服务分布式事务的几种实现方式
# 基础理论 ## CAP理论 一致性（Consistency） ：在分布式系统中所有的数据备份，在同一时刻都保持一致状态，如无法保证状态一致，直接返回错误； 可用性（Availability）：在集群中一部分节点故障，也能保证客户端访问系统并得到正确响应，允许一定时间内数据状态不一致； 分区容错性 ......
企业为什么需要软件的应用框架？
软件框架是可用来构建软件的结构。它充当系统的基础，使开发者不必从头开始创建，比如非必要的额外逻辑。框架还类似于模板，你可以对其进行修改并添加某些特性和更高级功能，然后创建许多人可以使用的复杂而普适的项目。 软件的应用框架是软件系统的一层抽象，是提供了通用的软件功能，可以通过用户编写代码有选择地改变， ......
《Pytest + Yaml 框架开发与使用》框架使用与框架开发二合一课程
# 为什么会开这个专题？ 目前越来越多的自动化测试人员在学习使用 pytest 框架了，但是大家对 pytest 框架的学习大部分同学都是局限于如何编写测试用例，如何使用 fixtures，以及生成测试报告等基本的使用。 大家对 pytest 插件的了解知道的很少，只知道 pip 安装一个 pyte ......
springboot框架主要用来做什么？
Spring Boot是一个开源的Java框架，主要用于简化和加速基于Java的应用程序的开发。它提供了一套开发工具和约定，使得构建独立、可执行的、生产级别的Spring应用变得更加容易。 Spring Boot的主要目标是简化Spring应用程序的配置和部署过程，减少开发者在项目搭建和配置上的 ......
并发扣减库存不使用分布式锁用幂等性怎么实现
扣减库存接口 /** * Notes:修改或删除库存信息 复核提交，移位完成，调拨完成 后触发 * 原始库位扣减操作 * User: sl * Date: 2023-04-11 17:31 * @param $data * @param $type 1,复核完成 2调拨出库完成后扣减 3，源库位移位 ......
HDFS集群搭建：完全分布式
本文介绍了HDFS集群中单点故障：HDFS-HA解决方案以及因此引入的Journal Node、ZKFC、Active NameNode切换过程以及HA环境搭建启动等细节。 ......
数据库任务定时同步到redis
把数据库任务定时存储到redis：当前时间 < 执行时间 <= 预设时间(当前时间+5分钟) 预加载：如果任务量特别大，一次将数据库所有future任务全都加载到redis内存，可能会导致阻塞。 1.清理缓存中的数据 2.查询小于未来5分钟的所有任务 3.新增任务到redis /** * 数据库任务 ......
向量数据库：新一代的数据处理工具
向量数据库是一种特殊类型的数据库，它可以存储和处理向量数据。向量数据通常用于表示多维度的数据点，例如在机器学习和人工智能中使用的数据。在向量数据库中，数据被表示为向量，这些向量可以在多维空间中进行比较和搜索。 ......
分布式锁
# zk分布式锁 海豚调度通过zk来做分布式锁，保证同一个时刻只有一台Master的scheduler来执行 或者只有一台worker执行任务的提交 ## 1.zk分布式锁核心流程算法 在各个⾏业中变得越来越重要。⽆论是⾦融、电商还是物流，实时数据处理都成为了其中的关键环节。Flink 凭借其强⼤的[流处理特性](https://www.dts ......
分布式锁解决集群下的方法抢占执行
问题描述： 启动两台heima-leadnews-schedule服务，每台服务都会去执行refresh定时任务方法 分布式锁：控制分布式系统有序的去对共享资源进行操作，通过互斥来保证数据的一致性。 分布式锁的解决方案： sexnx （SET if Not eXists） 命令在指定的 key 不存 ......
数据仓库MPP架构&分布式架构
数据仓库MPP架构&分布式架构 一、MPP架构 1.1MPP架构概述 MPP（Massively Parallel Processing）架构是一种分布式数据处理技术，能够通过将工作负载分散到多个节点上来提高数据处理性能。与传统的共享架构不同，MPP采用非共享架构（Share Nothing），将单 ......
未来数据定时刷新——从zset中获取预设时间内的任务添加到list中
未来数据定时刷新——实现步骤： 定时任务/每分钟————》未来数据的keys————》按照分值查询zset，判断数据是否到期——到期》同步到Redis中的list 1、如何获取zset中所有的key? keys 模糊匹配，future。效率低 SCNA命令：SCAN 命令是一个基于游标的迭代器，SC ......
Windows设置定时任务运行脚本/程序
1、win + x 打开计算机管理工具 2、点击任务计划程序 创建任务 3、创建任务名称 4、创建定时任务 5、选择要运行的脚本及程序 6、结果 ......
拉取任务
实现思路： 消费任务————————》从redis中的list中pop数据——————》修改数据库的任务 参数：任务的类型和优先级 pop：取出数据并删除 删除任务&修改任务日志 /** * 按照任务类型和优先级拉取任务 * @param type * @param priority * @retu ......
分布式锁
1 mysql唯一键 2 redis lua脚本保证原子性 setnx expire 看门狗保证执行的时间大于锁的时间 为了避免其他人误删除 值和对应的用户一一对应 保证唯一 比如值为uid 3 redisson 4 redis多台奇数master 超过一般就获取锁成功 5 zk 参考 https: ......
分布式数据库 Join 查询设计与实现浅析
相对于单例数据库的查询操作，分布式数据查询会有很多技术难题。本文记录 Mysql 分库分表 和 Elasticsearch Join 查询的实现思路，了解分布式场景数据处理的设计方案。
文章从常用的关系型数据库 MySQL 的分库分表Join 分析，再到非关系型 ElasticSearch 来分析... ......
6.29 celery分布式异步任务框架
1.celery：分步式异步任务框架 /1 异步任务 /2 延迟任务 /3 定时任务 /4 celery架构 消息中间件（broker）：消息队列：可以使用redis，rabbitmq 任务执行单元（worker）：执行单元 执行提交的任务 任务执行结果存储（banckend）：可以使用mysql， ......
取消任务
场景：第三接口网络不通，使用延迟任务进行重试，当达到阈值以后，取消任务。 taskId——》删除任务——》更新日志状态——》删除redis中的数据 1、根据taskid删除任务,修改任务日志状态为 2(取消) 2、删除redis中对应的任务数据，包括list和zset /** * 取消任务 * @p ......
分布式事务实践-seata
Seata 是一款开源的分布式事务解决方案，致力于提供高性能和简单易用的分布式事务服务。 Seata 将为用户提供了 AT、TCC、SAGA 和 XA 事务模式，为用户打造一站式的分布式解决方案。 官网：https://seata.io/zh-cn/docs/overview/what-is-sea ......
读发布！设计与部署稳定的分布式系统（第2版）笔记19_基础层之设备
 # 1. 物理主机 ## 1.1. 以前数据中心硬件就是建立在单个物理机器的高可靠性上的 ## 1.2. 如今通过 ......
pytest + yaml 框架 -46.支持模块级别和用例级别参数化
# 前言 对`parameters` 功能做了优化，支持模块级别和用例级别参数化 - config 中 parameters 参数化，作用域是整个模块级别 - 用例中 parameters 参数化，作用域只针对单个用例 v1.3.7 版本优化此功能 # 模块级别参数化 config 中 parame ......
基于Redis分布式缓存
1.安装包 使用Redis分布式缓存需要安装Redis的支持包，可以通过nuget命令安装，如下： install-package Microsoft.Extensions.Caching.StackExchangeRedis 2.在Program.cs文件中注册 builder.Services. ......
NLP | 数据集独立同分布的理解
在自然语言处理（NLP）中，**独立同分布是指一个数据集中的样本是从同一个总体分布中独立采样而来的**。这意味着数据集中的**每个样本都具有相同的概率分布**，并且这些样本之间是相互独立的，即**一个样本的出现不会影响其他样本的出现**。 例如，如果我们收集了一组用于训练文本分类器的新闻文章，并且这 ......
redis实现延迟任务
1、添加任务到数据库 2、判断当前任务的执行时间 执行时间<=当前时间：存储到 list（当前消费队列） 当前时间<执行时间<=预设时间(预设时间=当前时间+5分钟)：存储zset （未来数据队列），定时刷新从zset中将任务存入list。 一、添加任务 1、创建task类，用于接收添加任务的参数 ......
分布式事务的几种实现方式
## 基础理论 ### CAP理论 一致性（Consistency） ：在分布式系统中所有的数据备份，在同一时刻都保持一致状态，如无法保证状态一致，直接返回错误； 可用性（Availability）：在集群中一部分节点故障，也能保证客户端访问系统并得到正确响应，允许一定时间内数据状态不一致； 分区容 ......