分布式 一代 框架 任务
在 CentOS7/CentOS8 上使用 cephadm 安装分布式存储系统 Ceph【转】
Cephadm 介绍 官方文档：https://docs.ceph.com/en/latest/cephadm/ cephadm 用于部署和管理 Ceph 集群，它通过 SSH 将 manager 守护进程连接到主机来实现这一点。manager 守护进程支持添加、删除和更新 Ceph 容器。ceph ......
并发跑任务：任一成功停下&获取所有成功结果
主方法 import java.util.ArrayList; import java.util.List; import java.util.concurrent.*; import java.util.function.Supplier; public class CompletableFutu ......
Linux系列---【shell脚本-模拟手动跑每天的定时任务】
问题背景 上线的时候经常会遇到这样的问题，上线一个每天跑的定时任务，一般跑最近一年的数据，上线的时候需要手动跑过去最近一年的数据，手动肯定不方便，于是这里写了一个好用的shell脚本，来降本增效。 shell脚本 #!/bin/bash # 设置循环的日期范围 start_date="2023080 ......
Redis——分布式锁
基本原理 synchronized是利用JVM内部的锁监视器控制线程，但是只能在一个JVM中生效。如果有多个JVM的时候，就会有多个线程获取到锁，就无法实现多JVM进程之间的互斥了。 因此不能使用JVM内部的锁监视器了，必须使用JVM外部的锁监视器，就能保证只有一个线程获取到锁，就能实现多进程之间的 ......
并发跑任务：任一成功所有任务停下
import java.util.concurrent.*; public class Main { public static void main(String[] args) { ExecutorService executorService = Executors.newFixedThread ......
分布式操作系统市场规模有万亿吗？你怎么看？
昨天参加一个饭局，席间和一位做ICT基础设施投资的朋友聊起我们团队研发的LAXCUS分布式操作系统，请他分析一下分布式操作系统和连带的产业市场规模价值，我给出的分析依据是：1. LAXCUS面向TO B市场，有广泛应用前景，包括AI、大数据、HPC的支持2. LAXCUS属于多机操作系统，和Wind ......
SpringBoot简易任务栏示例
一、概述 现有这样一个需求：前端要求实现类似任务栏的东西（windows电脑的任务栏）。要求：可以向任务栏增加图标、删除图标、给任务栏中的图标排序以及加载任务栏图标列表 参考样例图： 规律图： 思路：（这里假设任务栏图标列表本身就是一个有序的集合，排序规则按照sort正向排序） 新增： 增加一个图标 ......
Kafka的分布式架构与高可用性
导语 一开始我们就说过Kafka是一款开源的高吞吐、分布式的消息队列系统，那么今天我们就来说下它的分布式架构和高可用性以及双/多中心部署。 Kafka 体系架构简介 以下是 Kafka 的软件架构，整个 Kafka 体系结构由 Producer、Consumer、Broker、ZooKeeper 组 ......
磁盘清理、大文件查找、磁盘扩容、定时任务
磁盘清理 rm -rf 脚本： #!/bin/shcd /;find -name "java_pid*.hprof" -exec rm -rf {} \; 或者 rm -rf /java_pid*\.hprof 大文件查找 查找并列出当前目录中最大的目录: du -h --max-depth=1 查 ......
Redis分布式锁
简述 利用Redis的Setnx命令，来实现一个分布式的加锁方案。利用注解，在拥有该注解的方法上，进行切面处理，在方法执行前，进行加锁，执行结束后，根据是否自动释放锁，进行解锁。 将该注解用在定时任务的方法上，即可实现分布式定时任务，即获取到锁的方法，才会执行。 1 redis命令 1.1 setn ......
框架集 表格 列表
一. 框架集 (frameset) 注意:要把body 删了 rows 以纵向分 cols 以横向分 framboder=0/1 是否有边框 border=1 边框为1 frame 框架 noresize 是否有拖拽 scrolling =yes/no/auto 是否有下拉或右拉 target 中的 ......
分布式事务：XA和Seata的XA模式
上一篇内容《从2PC和容错共识算法讨论zookeeper中的Create请求》介绍了保证分布式事务提交的两阶段提交协议，而XA是针对两阶段提交提出的接口实现标准，本文则对XA进行介绍 ......
Mysql 分布式序列算法
接上文 Mysql分库分表 1.分布式序列简介 在分布式系统下，怎么保证ID的生成满足以上需求？ ShardingJDBC支持以上两种算法自动生成ID。这里，使用ShardingJDBC让主键ID以雪花算法进行生成，首先配置数据库，因为默认的注解id是int类型，装不下64位，需要进行修改： # 在 ......
金融信创黄金三年：小程序生态+跨端技术框架构建
银行信创化的基础建设中，数据库、中间件是最重要的产业链环节。以银行业为代表的从集中式数据库向分布式数据库迁移转型，不仅仅是金融信创的题中应有之义，也是银行业“零售化”转型的必然要求。有金融机构人士介绍，分布式数据库升级后，成本大幅缩减了75%，分析型大数据加工处理能力提升了300%，业务高峰期的应对... ......
Yii2框架的几个隐蔽的坑
准备知识 ActiveRecord的基本用法。如果不理解，可参考这里。 代码现场 /** * @property integer $id * @property string $name * @property string $detail * @property double $price * @ ......
pig4cloud框架系列六：WebSecurity和HttpSecurity的关系
前言：本篇是自己通过看代码及网上的一些博客，总结整理的记录，供大家参考。 一，HttpSecurity的本质 @Bean SecurityFilterChain filterChain(HttpSecurity http) throws Exception {return http.antMatch ......
pig4cloud框架系列五：OAuth2之授权码模式认证
前言：OAuth2目前被广泛用于第三方登录场景中，用于鉴权，认证。本文主要简单介绍一下授权码模式认证。 场景：使用微信登录迅雷 一，名词概念 1，第三方应用程序：迅雷 2，服务提供商：微信 3，资源所有者：登录用户 4，认证服务器：微信用来处理认证的服务器 5，资源服务器：微信存放用户生成的资源的服 ......
pig4cloud框架系列四：去nacos服务
前言：由于公司的要求不同，比如有些公司使用K8s部署项目，来替代nacos实现服务发现功能，所以本文简单记录一下如何去掉nacos pig4cloud官网拉取的demo是复合工程，我本地是先把复合工程拆分为多个独立的工程，然后再实现的去掉nacos服务。 独立出来的工程主要有，pig-auth、pi ......
任务执行的洋葱模型
class TaskUtils { constructor() { this.currentIndex = 0 this.tasks = [] this._isRunning = false this._next = async () => { this.currentIndex++; await ......
分布式系统笔记目录
分布式系统笔记目录 本目录源自我校的分布式系统课程，我觉得很有趣，就制作了笔记并分享 老师的笔记的目录结构感觉还是有些问题，但是当时学习时间比较紧，就没来得及排版 仅供学习使用 第一章：基本概念 分布式系统相关概念、与并行计算的关系、云计算概念、分布式计算的背景、目的、应用及展望 第二章：模型问题 ......
Django实战项目-学习任务系统-用户登录
第一步：先创建一个Django应用程序框架代码 1，先创建一个Django项目 django-admin startproject mysite 将创建一个目录，其布局如下： mysite/ manage.py mysite/ __init__.py settings.py urls.py asgi ......
重新编译kyuubi-1.6.1版本使其提交flink sql流式任务时不阻塞
kyuubi-1.6.1版本对于flink sql的支持不是很好，在提交流式任务时会阻塞进程，为了修复这个缺陷，需要修改源代码并重新编译 待编译的kyuubi版本：kyuubi-1.6.1-incubating 适配的flink版本：flink-1.14.4 1、下载kyuubi-1.6.1-inc ......
html表单与框架
1.以form开头 其中常用的属性有 action="" method="" enctype="" name="" action：属性用来设置接收和处理浏览器递交的表单内容的服务器程序的URL method：属性用来定义浏览器将表单中的信息提交给服务器端的处理程序的方式，取值可以为：GET或POST ......
关于分布式操作系统
关于分布式操作系统，如果你不太理解的话，可以把它看成是传统操作系统延展。二者的区别在于，传统的操作系统都是单机系统，只能在一台计算机上运行，而分布式操作系统是多机系统，每台计算机都是系统中的一个计算单元，在此基础形成建立网络连接，统一输入输出，形成一个巨大的物理分布逻辑统一的计算机集群。 所以分布式 ......
从零开始的D3D12渲染框架 第0篇 设计思路
DirectX 12、Vulkan等下一代的渲染API在设计上相比OpenGL等上一代API有了很大的不同。下一代渲染API暴露了更多的GPU相关的细节部分，这允许程序员对GPU进行更加细致的控制，但同时也使得API本身变得更加琐碎与难用。这一系列文章用来记录我封装DirectX 12的思路与心得， ......
18 | 安全标准和框架：怎样依“葫芦”画出好“瓢”？
作为安全人员，该如何推动公司整体的安全体系建设 安全标准和框架有哪些？ 国内的安全和标准框架，就是等保。 在国外，比较知名的安全标准和框架包括：ISO27000 系列、NIST、COBIT 和 ITIL。 ISO27000 系列是国际上比较认可的安全标准之一。它提供了兼容性极高的安全体系和信息安全管 ......
maestro 移动ui 自动化测试框架
maestro 是一个移动ui 自动化测试框架，基于yaml 定义就可以快速的实现移动ui 的测试，支持ios，android，reactnatice，fluttermaestro 安装简单，就是一个二进制文件 说明 对于需要进行移动端自动化测试的团队maestro 是一个很值得使用的工具 参考资料 ......
开源即时通讯IM框架 MobileIMSDK v6.4 发布
一、更新内容简介 本次更新为次要版本更新，进行了若干优化（更新历史详见：码云 Release Notes、Github Release Notes）。MobileIMSDK 可能是市面上唯一同时支持 UDP+TCP+WebSocket 三种协议的同类开源IM框架。 二、MobileIMSDK简介 M ......
ORM 框架及其优势，常见的 ORM 框架
ORM（Object-Relational Mapping，对象关系映射）框架是一种将对象模型和关系数据库之间进行映射的技术。它将数据库表和记录映射为对象和属性，通过提供面向对象的方式操作数据库，隐藏了底层数据库的细节，简化了开发过程。ORM框架可以提供以下优势： 1. 简化开发：ORM框架可以将数 ......