分布式 一代 框架 任务
netty网络框架二
一、Buffer的分散和聚集 Buffer的分散和聚集是指将一个大的连续数据缓冲区分割成多个小的缓冲区或将多个小的缓冲区组合成一个大的连续数据缓冲区的过程。 分散操作可以将一个数据缓冲区中的数据分散到多个小的缓冲区中，通常用于将数据发送给多个接收方。聚集操作相反，它可以将多个小的缓冲区中的数据聚集到 ......
框架中处处可见反射的运用，你对它了解多少？
什么是反射 反射是一种能够在程序运行时动态访问、修改某个类中任意属性（状态）和方法（行为）的机制（包括private实例和方法），java反射机制提供了以下几个功能： 在运行时判断任意一个对象所属的类； 在运行时构造任意一个类的对象； 在运行时判断任意一个类所具有的成员变量和方法； 在运行时调用任意 ......
一个基于序列的弱监督视觉信息抽取学习框架
一、简要介绍 视觉信息提取（VIE）近年来受到了越来越多的关注。现有的方法通常首先将光学字符识别（OCR）结果组织成纯文本，然后利用标记级实体注释作为监督来训练序列标记模型。但是，它花费大量的注释成本，可能导致标签混淆，OCR错误也会显著影响最终性能。在本文中，作者提出了一个统一的弱监督学习框架，称 ......
脚本编写的一个通用框架
总结基于python写脚本的框架 # -*- encoding:utf-8 -*- # @time: 2023/3/21 12:11 # @author: Maxs_hu """ 基于python实现小脚本的基础框架: 1. 利用yield生成器函数, 将读取到的数据返回 2. 线程池执行主线任务 ......
Vue3 企业级优雅实战 - 组件库框架 - 9 实现组件库 cli - 上
上文搭建了组件库 cli 的基础架子，实现了创建组件时的用户交互，但遗留了 cli/src/command/create-component.ts 中的 createNewComponent 函数，该函数要实现的功能就是上文开篇提到的 —— 创建一个组件的完整步骤。本文咱们就依次实现那些步骤。（友情 ......
如何基于Security框架兼容多套用户密码加密方式
一、说明 当已上线的系统存在使用其他的加密方式加密的密码数据，并且密码 不可逆 时，而新的数据采用了其他的加密方式，则需要同时兼容多种加密方式的密码校验。 例如下列几种情况： 旧系统用户的密码采用了 MD5 的加密方式，而升级框架后的新系统则采用 BCrypt 的加密方式； 当割接历史数据后会存在用 ......
带你深入Java Log框架，彻底搞懂Log4J、Log4J2、LogBack，SLF4J
最近系统被扫出来还在使用老旧的log4j，需要升级到最新的log4j。但是在升级的发现，Java相关的日志处理库有log4j, log4j2,slf4j和logback，初一看确实有点头大，那么区别是啥呢？之前也大概知道一些，查找了大量相关资料，这里好好总结一下，相信你读完就会熟练掌握 Log4J、 ......
【深入浅出 Yarn 架构与实现】5-1 Yarn 资源调度器基本框架
资源调度器是 YARN 中最核心的组件之一，它是 ResourceManager 中的一个插拔式服务组件，负责整个集群资源的管理和分配。
Yarn 默认提供了三种可用资源调度器，分别是FIFO (First In First Out )、 Yahoo! 的 Capacity Scheduler 和 ... ......
实现常驻任务除了避免昙花线程，还需要避免重返线程池
前面我们使用简单的例子演示了 Task 和 Thread 的两种制造昙花线程的方式。那么除了避免昙花线程，在实现常驻任务的时候，还需要避免重返线程池。本文将介绍如何避免重返线程池。 ......
【分布式技术专题】「分布式技术架构」一文带你厘清分布式事务协议及分布式一致性协议的算法原理和核心流程机制（Paxos篇）
概念简介 Paxos是一种基于消息传递具有高度容错特性的一致性算法，是目前公认的解决分布式一致性问题最有效的算法之一。 发展历史 Paxos算法的发展历史追溯到古希腊，当时有一个名为“Paxos“的小岛， 岛上采用一会的形式通过法令， 议会中议员通过信使进行消息传递，议员与信使都是兼职的，他们随时都 ......
改进 hibernate-validator，新一代校验框架 validator 使用介绍 v0.4
项目介绍 java 开发中，参数校验是非常常见的需求。但是 hibernate-validator 在使用过程中，依然会存在一些问题。 validator 在 hibernate-validator 等校验工具之上，做了一些改进，使其使用更加便捷优雅，进一步提升工作效率。 变更日志 变更日志 特性 ......
推荐一个前后端分离.NetCore+Angular快速开发框架
今天给大家推荐一个开源项目，基于.NetCore开发的、前后端分离、前端有Vue、Angular、MVC多个版本的快速开发框架。 项目简介 这是一个基于.NetCore开发的快速开发框架，项目采用模块化架构、最新的技术栈、项目高度封装了依赖注入、日志（Log4net、Nlog）、缓存（Redis）、 ......
精准测试之分布式调用链底层逻辑
作者：京东工业 宛煜昕 概要： 1. 调⽤链系统概述； 2. 调⽤链系统的演进； 3. 调⽤链的底层实现逻辑； 4. Span内容组成。 ⼀、分布式调⽤链系统概述 客户打电话给客服说：“优惠券使⽤不了”。 -客服告诉运营⼈员 --运营打电话给技术负责⼈ 技术负责⼈通知会员系统开发⼈员 会员找到营销系 ......
Java项目是不是分布式，真有那么重要吗？
大家好，我是3y啊。 大概不知道从什么时候，「微服务」「分布式」这两个词又再次频繁出现在我的视线里。 「微服务」「分布式」在我刚毕业的时候还是比较关注的，那时候还入门了一把SpringCloud，写了一篇很长的文章，还是很顶的，有不少的大号都给我转载了，在知乎又获得了很多的赞。 那时候觉得懂「分布式 ......
如何实现延迟任务，这11种方式才算优雅！
大家好，我是三友~~ 延迟任务在我们日常生活中比较常见，比如订单支付超时取消订单功能，又比如自动确定收货的功能等等。 所以本篇文章就来从实现到原理来盘点延迟任务的11种实现方式，这些方式并没有绝对的好坏之分，只是适用场景的不大相同。 微信公众号：三友的java日记 DelayQueue DelayQ ......
模拟浏览器与服务器交互(简易TomCat框架)
模拟浏览器发送请求到服务器获取资源的思想和代码实现 浏览器发送请求到服务器获取资源的流程和概念 日常我们使用的浏览器,底层都是帮我们做了很多事情,我们只需要用,比如输入www.baidu.com,就可以访问百度的首页 那么它是如何做到的呢,其实简单来说就是浏览器在底层利用socket,将我们输入的地 ......
【Redis场景5】集群秒杀优化-分布式锁
集群环境下的秒杀问题 前序 【Redis场景1】用户登录注册 【Redis场景2】缓存更新策略(双写一致) 【Redis场景3】缓存穿透、击穿问题 【Redis场景拓展】秒杀问题-全局唯一ID生成策略 【Redis场景4】单机环境下秒杀问题 在单机环境下的并发问题，我们可以使用相关锁来解决；但是在集 ......
Net6 EFcore框架介绍
1、简介 EFcore，可用使得开发人员不需要再去关注数据库的实现，全都由代码进行生成 这样有利于减少工作量、数据库快速迁移... 2、上手搭建架构 (这个图是做完本章内容的完整图，我们一步步深入即可) 在写EF之前，先安装好数据库，我选择在本地安装Sqlserver 我们先执行最核心的两步，将EF ......
推荐系统[八]算法实践总结V2：排序学习框架(特征提取标签获取方式)以及京东推荐算法精排技术实战
0.前言 「排序学习（Learning to Rank，LTR）」，也称「机器排序学习（Machine-learned Ranking，MLR)」 ，就是使用机器学习的技术解决排序问题。自从机器学习的思想逐步渗透到信息检索等领域之后，如何利用机器学习来提升信息检索的性能水平变成了近些年来非常热门的研 ......
基于NUXT.JS搭建一款VUE版SSR前端框架（解决SPA应用的SEO优化优化问题）
本文档是从官网文档中摘录的一些重点内容，以及加入了自己的一些调整和对官网内容的理解和解释。适合新手学习，有一定技术水平的宝子，建议直接查看 [NUXT英文官网] ......
Solon2 分布式事件总线的技术价值？
分布式事件总线在分布式开发（或微服务开发）时，是极为重要的架构手段。它可以分解响应时长，可以削峰，可以做最终一致性的分布式事务，可以做业务水平扩展。 ......
Masa Framework源码解读-02缓存模块（分布式缓存进阶之多级缓存）
序言 今天这篇文章来看看Masa Framework的缓存设计，上一篇文章中说到的MasaFactory的应用也会在这章节出现。文章中如有错误之处还请指点，咱们话不多说，直入主题。 Masa Framework缓存简介 MASA Framework源码地址：https://github.com/ ......
微软出品自动化神器【Playwright+Java】系列（十二）测试框架的设计与开发
一、前言 大家好，我是六哥！ 又有好长一段时间没更文了，不是我懒，而是确实在更文上，没有以前积极了，这里是该自我检讨的。 其实不是我不积极，而是相对更文学习来说，优先级不是最高。 对我而言，目前最重要的就是减肥，除了下雨下雪，我都坚持每天5公里，keep记录如下： 早在四天前就完成了playwrig ......
在 Ubuntu 22 的基础上进行 Hadoop 伪分布式（HDFS）的搭建
一、使用VMware安装Ubuntu虚拟机 推荐可以再下个Xshell用于操作终端。 Xshell免费版官网下载地址：https://www.xshell.com/zh/free-for-home-school/ 二、伪分布式平台搭建 Part1: 准备工作 首先按 ctrl+alt+t 打开终端窗 ......
Celery框架从入门到精通
Celery介绍、安装、基本使用 一、Celery服务 什么是Celery: Celery是一个简单、灵活且可靠的，处理消息的分布式系统 Celery可以用来做什么： 异步任务 定时任务 延迟任务 Celery的运行原理: 可以不依赖任何服务，通过自身命令，启动服务 celery服务为其他项目服务提 ......
Spring Cloud Alibaba 整合 Seata 实现分布式事务
在Spring Boot单体服务中，添加@Transactional注解就能实现事务。在单体服务中，执行事务都是在同一个数据库下进行。但是随着业务越来越复杂，数据量越来越大会进行分库分表。在微服务场景下，每个服务都有自己的数据库。之前的单体事务无法处理跨库的事务，这个时候就需要使用分布式事务。 前面 ......
通用图像分割任务- 使用 Mask2Former 和 OneFormer
本文介绍两个领先的图像分割神经网络模型: Mask2Former 和 OneFormer。相关模型已经在 🤗 Transformers 提供。🤗 Transformers 是一个开源库，提供了很多便捷的先进模型。在本文中，你也会学到各种图像分割任务的不同之处。 图像分割 图像分割任务旨在鉴别区分 ......
云原生时代顶流消息中间件Apache Pulsar部署实操之轻量级计算框架
本篇逐层递进了解Pulsar Functions的基本概念和理论，如工作原理、处理保证模式、窗口函数；进一步搭建Pulsar函数运行环境，一步步操作演示函数也包括窗口函数的示例使用，最后通过Java语言实现原生语言接口和Pulsar函数SDK两种方式的代码示例、打包、部署和结果验证。 ......