分布式 一代 框架 任务
django框架(部分讲解)
ajax补充说明 主要是针对回调函数args接收到的响应数据 request.is_ajax()判断是不是ajax请求 后端返回的三板斧都会被args接收不再影响整个浏览器页面 选择使用ajax做前后端交互的时候 后端一般返回的都是字典数据 user_dict = {'code': 10000, ' ......
xxl-job定时调度任务Java代码分析
用xxl-job做后台任务管理, 主要是快速解决定时任务的HA问题, 项目代码量不大, 功能精简, 没有特殊依赖. 因为产品中用到了这个项目, 上午花了点时间研究了一下运行机制. 把看到的记一下. ......
如何基于 Redis 实现分布式锁
什么是分布式锁 分布式锁：不同进程必须以互斥方式使用共享资源的一种锁方法实现。 实现分布式锁的基础 互斥。任何时刻，只有一个客户端持有锁。 无死锁。最终总是有可能获得锁，即使持有锁的客户端已经崩溃。 单个 Redis 分布式锁实现 上锁 上锁需要考虑俩点 原子性 锁能自动释放 首先要考虑持有锁的客户 ......
【分布式技术专题】「架构设计方案」盘点和总结秒杀服务的功能设计及注意事项技术体系
分析秒杀的业务场景，最重要的有一点就是超卖问题，假如备货只有100个，但是最终超卖了200，一般来讲秒杀系统的价格都比较低，如果超卖将严重影响公司的财产利益，因此首当其冲的就是解决商品的超卖问题。 ......
作者推荐 | 【分布式技术专题】「架构设计方案」图解学习法总结集群模式下的各种软负载均衡策略实现及原理分析
通常来说，负载均衡分为硬件负载均衡及软件负载均衡。硬件负载均衡，顾名思义，在服务器节点之间安装专门的硬件进行负载均衡的工作，F5或者A10便为其中的佼佼者。软件负载均衡则是通过在服务器上安装的特定的负载均衡软件或是自带负载均衡模块完成对请求的分配派发。例如，平时我们使用的Nginx或者API-Gat... ......
【秒杀购物商城业务服务】「分布式架构服务」盘点中间件服务的高可用模式及集群技术的方案分析
- 基于MySQL数据库集群技术实现服务的高可用
- 基于Tomcat的集群负载机制实现Tomcat服务器的高可用
- 基于Nginx负载均衡机制实现负载均衡（介绍和配置）
- 基于Redis缓存服务实现数据缓存控制相关介绍和技术点分析
- 对未来的分布式技术架构扩展和延伸介绍（包含云原生部分） ......
Selenium4+Python3系列（十二） - 测试框架的设计与开发
前言 自己从未没想过能使用python来做自动化测试框架的设计、开发。 可能有人会好奇说，六哥，你怎么也用python写测试框架了？ 领导说： python你也没有实际工作经验，可能就是自己自学的。 听完，那一刻，我真的特别证明自己，我也行！ 框架搭建 整个框架的实现，大约也就1.5天，关于框架的开 ......
下一代架构？从组装式企业到组装式应用
摘要：华为云ROMA Connect作为进入Gartner“企业集成平台”魔力象限的厂商，在EiPaaS领域持续积累沉淀，为各大企业数字化转型、应用现代化演进提供了强大的驱动力。 1.为什么未来的企业是组装式的？ 物竞天择，适者生存，企业也是一样，在发展过程中，为了适应市场环境而做出快速改变。良性的 ......
Django框架：1、手撸web框架、Django框架简介、安装与使用和小白必会三板斧
Django框架 一、Django推导流程 1、纯手撸web框架 web框架本质 web框架的本质就是socket服务端，用来连接前端（socket客户端）与数据库的中间介质 手写web框架 1.编写socket服务端代码 2.浏览器对服务端进行访问，访问响应无效>>>:HTTP协议 3.根据网 ......
秒级查询之开源分布式SQL查询引擎Presto实操-上
大数据交互式查询是每个数据分析人员不可或缺的需求，本篇以业界交互式查询的经典之作Presto为研究对象，了解其架构和优缺点及丰富连接器。并通过安装一个协调节点和3个worker节点的分布式集群，使用命令行界面演示hive连接器的查询数据表的示例，最后了解其使用的要点。 ......
可视化编排的数据集成和分发开源框架Nifi轻松入门-上
如何你正在为数据采集做技术选型，今天介绍一款功能极其强大性能也高且采用可视化编排的数据集成框架nifi可以列入选型范畴，是数仓开发的强大工具之一，只要使用后就能体会到其丰富的处理器和扩展性。先了解其特性、核心概念和架构，也支持分布式集群，了解常见处理器分类，最后通过源码安装并使用两个简单的处理器演示... ......
Django框架：10、Ajax补充说明、多对多三种创建方法、Django内置序列化组件、批量操作数据方法、分页器思路
Django框架 一、Ajax补充说明 1、针对前端回调函数接受值的说明 主要针对回调函数args接收到的响应数据 1、后端如何判断请求发出方式 关键词：is_ajax() 通过request点的方式可以判断请求是否由Ajax发出 def home(request): print(request.i ......
rate-limit 一款 java 开源渐进式分布式限流框架使用介绍
项目简介 rate-limit 是一个为 java 设计的渐进式限流工具。 目的是为了深入学习和使用限流，后续将会持续迭代。 特性 渐进式实现 支持独立于 spring 使用 支持整合 spring 支持整合 spring-boot 内置多种限流策略 快速开始 需求 jdk 1.7 maven 3. ......
通过surging的后台托管服务编写任务调度并支持规则引擎自定义脚本
简介 过去，如果在业务中需要处理任务调度的时候，大家都会使用第三方的任务调度组件，而第三方组件有一套自己的规则，在微服务的中显得那么格格不入，这样就会造成代码臃肿，耦合性高，如果有分布式还需要搭建新的分布式环境，如果把任务调度做成组件服务，这个就完全满足了微服务的模块化，组件化，而下面谈的是在sur ......
UIAutomator测试框架介绍
uiautomator简介 UiAutomator是Google提供的用来做安卓自动化测试的一个Java库，基于Accessibility服务。功能很强，可以对第三方App进行测试，获取屏幕上任意一个APP的任意一个控件属性，并对其进行任意操作，但有两个缺点：1. 测试脚本只能使用Java语言 2. ......
为什么分布式限流会出现不均衡的情况？
概述 在微服务、API 化、云原生大行其道的今天，服务治理不可或缺，而服务治理中限流几乎是必不可少的手段；微服务化往往伴随着分布式的架构，那么仅仅单机限流是不够的，还需要分布式的限流。 那么问题就来了：分布式限流中，往往会出现「限流不均衡」或「限流误差」的情况，这是为什么呢？ 限流 国庆假期，限流这 ......
自己动手基于 Redis 实现一个 .NET 的分布式锁类库
分布式锁的核心其实就是采用一个集中式的服务，然后多个应用节点进行抢占式锁定来进行实现，今天介绍如何采用Redis作为基础服务，实现一个分布式锁的类库，本方案不考虑 Redis 集群多节点问题，如果引入集群多节点问题，会导致解决成本大幅上升，因为 Redis 单节点就可以很容易的处理10万并发量了，这 ......
分布式注册服务中心etcd在云原生引擎中的实践
作者：王雷 etcd是什么 etcd是云原生架构中重要的基础组件，由CNCF孵化托管。ETCD是用于共享配置和服务发现的分布式，一致性的KV存储系统，是CoreOS公司发起的一个开源项目，授权协议为Apache。etcd 基于Go语言实现，主要用于共享配置，服务发现，集群监控，leader选举，分布 ......
.NET 云原生架构师训练营（基于 OP Storming 和 Actor 的大型分布式架构一）--学习笔记
目录 为什么我们用 Orleans Dapr VS Orleans Actor 模型 Orleans 的核心概念 为什么我们用 Orleans 分布式系统开发、测试的难度（服务发现、通信） 运维的复杂度（伸缩性与可靠性的保障） actor 拥有全局唯一身份 自动伸缩功能 Dapr VS Orlean ......
Qt开发Active控件:如何使用ActiveQt Server开发大型软件的主框架（2）
Qt开发Active控件:如何使用ActiveQt Server开发大型软件的主框架 注：本文更多地是带着如何去思考答案，而不是纯粹的放一个答案上来，如果你需要直接看到完整的答案，请直接看实例和最后的柳暗花明部分，里面由详细的注释可以解答你的问题。 前情提要： Qt的进程间通信,以服务器的形式，手把 ......
一文讲透CabloyJS全栈框架的来龙去脉
CabloyJS 是一款自带工作流引擎的 Node.js 全栈框架，一款面向开发者的低代码开发平台，更是一款兼具低代码的开箱即用和专业代码的灵活定制的 PAAS 平台。只需一套代码，即可同时实现中后台管理系统和前台应用。只需一套代码，即可同时跨端pc和mobile，并且mobile端是接近原生体验 ......
Easy-Classification-分类框架设计
1. 框架介绍 Easy-Classification是一个应用于分类任务的深度学习框架，它集成了众多成熟的分类神经网络模型，可帮助使用者简单快速的构建分类训练任务。 框架源代码：https://github.com/wuya11/easy-classification 1.1 框架功能 1.1.1 ......
goioc：一个使用 Go 写的简易的 ioc 框架
goioc 介绍 goioc 是一个基于 GO 语言编写的依赖注入框架，基于反射进行编写。 支持泛型； 简单易用的 API； 简易版本的对象生命周期管理，作用域内对象具有生命； 延迟加载，在需要的时候才会实例化对象； 支持结构体字段注入，多层注入； 对象实例化线程安全，作用域内只会被执行一次。 下载 ......
使用c#的 async/await编写 长时间运行的基于代码的工作流的 持久任务框架
持久任务框架 （DTF） 是基于async/await 工作流执行框架。工作流的解决方案很多，包括Windows Workflow Foundation，BizTalk，Logic Apps, Workflow-Core 和 Elsa-Core。最近我在Dapr 的仓库里跟踪工作流构建块的进展时，深 ......
图神经网络之预训练大模型结合：ERNIESage在链接预测任务应用
通过以上两个版本的模型代码简单的讲解，我们可以知道他们的不同点，其实主要就是在消息传递机制的部分有所不同。ERNIESageV1版本只作用在text graph的节点上，在传递消息(Send阶段)时只考虑了邻居本身的文本信息；而ERNIESageV2版本则作用在了边上，在Send阶段同时考虑了当前节... ......
一图看懂Hadoop中的MapReduce与Spark的区别：从单机数据系统到分布式数据系统经历了哪些?
今日博主思考了一个问题：Hadoop中的MapReduce与Spark他们之间到底有什么关系？ 直到我看到了下面这张图 废话不多说先上图👇 我们知道，单机数据系统，在本地主机上针对数据有单机本地存储操作（localFS）和单机计算操作（SQL） 这是在数据量比较小方便在一台主机就完成任务的情况。 ......
重新认识下JVM级别的本地缓存框架Guava Cache——优秀从何而来
作为缓存系列专栏内容，秉持着不重复造轮子的理念，本篇文章中我们就开始深入剖析JAVA本地缓存的优秀轮子 —— 来自Google家族的Guava Cache。聊一聊其实现机制、看一看如何使用。 ......