分布式 理论
从理论到实践，实时湖仓功能架构设计与落地实战
在上篇文章中，我们向大家解释了为什么实时湖仓是当前企业数字化转型过程中的解决之道，介绍了实时计算和数据湖结合的应用场景。（“数据驱动”时代，企业为什么需要实时湖仓？） 在这篇文章中，我们将详细介绍在数栈实时开发平台内，实时湖仓的功能架构设计和具体实操案例。 功能架构介绍 实时湖仓并不是一个独立的产品 ......
Xxl-job 分布式调度任务使用
Xxl-job 分布式调度任务使用 一．XXL-job 产品介绍 1.简介： XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展. 作者是大众点评的许雪里.目前最新版本为v2.x. 2.特性功能： 1、简单：支持通过Web页面对任务进行CRUD操作，操作简单， ......
分布式应用开发的核心技术系列之——基于TCP/IP的原始消息设计
本文由葡萄城技术团队原创并首发。转载请注明出处：葡萄城官网，葡萄城为开发者提供专业的开发工具、解决方案和服务，赋能开发者。 前言 本文的内容主要围绕以下几个部分： TCP/IP的简单介绍。 消息的介绍。 基于消息分类的传输格式（流类型和XML类型）。 消息体系的组成。 TCP/IP的简单介绍 TCP ......
算法训练day34 贪心算法理论，455.376.53
算法训练day34 贪心算法理论，455.376.53 理论基础 概念 选择每一阶段的最优解，从而达到全局最优 一般步骤（鸡肋 问题分解为子问题 找出合适的贪心策略 求解每一个子问题的最优解 将局部最优叠加成全局最优解 455.分发饼干 题目 https://leetcode.cn/problems ......
java链表详解 理论+代码+图示
1、定义 链表是一种物理存储结构上非连续存储结构，数据元素的逻辑顺序是通过链表中的引用链接次序实现的。（即链表是一个个节点组成的，这些节点物理上不连续，但逻辑上连续） 一个节点就是一个Node对象。 2、链表结构 单向、双向； 带头、不带头； 循环、非循环； 以上情况组合起来就有8种链表结构 （双向 ......
pytorch(10.2.2) 注意力汇聚理论 代码测试
https://zh.d2l.ai/chapter_attention-mechanisms/nadaraya-waston.html from d2l import torch as d2l import torch from torch import nn #@save def show_hea ......
分布式ID
参考： JavaGuide：《分布式 id》 1、数据库主键自增 优点 ：实现起来比较简单、ID 有序递增、存储消耗空间小 缺点 ： 支持的并发量不大、存在数据库单点问题（可以使用数据库集群解决，不过增加了复杂度）、ID 没有具体业务含义、安全问题（比如根据订单 ID 的递增规律就能推算出每天的订单 ......
浅谈分布式事务及解决方案
1 背景 在讲述分布式事务的概念之前，我们先来回顾下事务相关的一些概念。 1.1 事务的基本概念 就是一个程序执行单元，里面的操作要么全部执行成功，要么全部执行失败，不允许只成功一半另外一半执行失败的事情发生。例如一段事务代码做了两次数据库更新操作，那么这两次数据库操作要么全部执行成功，要么全部回滚 ......
为什么不建议用redis做金融级分布式锁
最主要的问题是： 1.redis是AP而非CP的，所以在比如集群迁移等情况时可能产生两个应用在同一时间读取同一个key的数据是不一致的； 2.redis的key过期机制，可能加锁后业务执行了很长时间（STW或者IO很久）导致加锁区域的代码可能被另外一个进程/线程进来了； 3.目前金融级的分布式锁应该 ......
pytorch(10.2) 注意力汇聚理论
https://zh.d2l.ai/chapter_attention-mechanisms/nadaraya-waston.html https://zhuanlan.zhihu.com/p/265108616 Attention注意力机制与self-attention自注意力机制 Attenti ......
SAGA分布式
Saga是由一系列的本地事务构成。每一个本地事务在更新完数据库之后，会发布一条消息或者一个事件来触发Saga中的下一个本地事务的执行。如果一个本地事务因为某些业务规则无法满足而失败，Saga会执行在这个失败的事务之前成功提交的所有事务的补偿操作。 Saga的实现有很多种方式，其中最流行的两种方式是： ......
有手就会做！保姆级Jmeter分布式压测操作流程（图文并茂）
分布式压测原理 分布式压测操作 保证本机和执行机的JDK和Jmeter版本一致 配置Jmeter环境变量 配置Jmeter配置文件 上传每个执行机服务jmeter chmod -R 755 apache-jmeter-5.1.1/ 执行机配置写自己的ip 控制机配置所有执行机ip,把server.r ......
分布式一致性算法Raft
raft算法之所以容易理解，其一是他将一致性问题划分成几个子问题，这几个子问题都是独立、可理解和解释的。从传统的思维来讲，对于一个复杂的系统或者工程，都是大化小，分解实现，然后去尝试融合解决整体逻辑。 一、Raft详解 Raft算法是分布式系统开发首选的共识算法。比如现在流行Etcd、Consul、 ......
【分布式】解决树莓派4B-64位更换清华源问题(GPG error:because the public key is not available)
【分布式】解决树莓派4B-64位更换清华源问题(GPG error:because the public key is not available) 别出BUG求求了 于 2022-04-30 16:15:38 发布 阅读量3.1k 收藏 18 点赞数 7分类专栏： 分布式 文章标签： debian ......
分布式一致性协议 之 Paxos协议
1、什么是Paxos Paxos协议其实说的就是Paxos算法, Paxos算法是基于消息传递且具有高度容错特性的一致性算法，是目前公认的解决分布式一致性问题最有效的算法之一。 Paxos由 莱斯利·兰伯特(Leslie Lamport)于1998年在《The Part-Time Parliamen ......
矩阵理论笔记1
第一讲 线性代数回顾 定理和性质 设\(A=(\alpha_{1},\alpha_{2},\alpha_{3},...,\alpha_{m})\)，其中\(\alpha_{i}\)是一个n维列向量，那么有下面命题等价： 1.1. \(b\in L(\alpha_{1},\alpha_{2},\alp ......
分布式存储系统需要解决的问题
0.数据集群的两种架构 数据集中集群 （多主从） 数据分散集群 数据同步 主节点环形空间 + 从节点position 去判断是该增量还是全量。 同步方式 以数据快照的方式同步 -- 通常是全量 以命令的方式（执行语句的方式同步） -- 增量 数据快照生成过程中的写入问题 以mvcc方式，可重复读的方 ......
测试左移右移-理论篇
目录前言一、浅解左移1.什么是测试左移？1.1对产品1.2对开发1.3对测试1.4对运维二、浅解右移1.1对产品1.2对开发1.3对测试1.4对运维三、总结 前言 测试左移右移，很多人说能让测试更拥有主动权，展示出测试岗位也是有很大的价值，说白了就是整体效率与质量保障。其实不然，是测试业界的一种进步 ......
Snowflake算法生成分布式ID实现Go、C++
Snowflake 算法是一种用于生成全局唯一 ID 的分布式算法。它在分布式系统中被广泛应用，用于解决多节点同时生成 ID 的冲突问题。 Snowflake 算法的核心思想是将一个64位的长整数（Long）分解成多个部分，每个部分代表不同的信息，例如时间戳、节点ID和序列号。通过这种方式，Snow ......
Julia课程4:分布式计算
在本章中，我们将学习Julia中实现分布式算法的基本工具。我们介绍了Julia中的用于分布式计算的两种主要编程模型：1）Julia标准库附带的基于任务的模型；2）Julia与消息传递接口MPI的绑定。 学习完本章节后，我们应该能够： 使用两种不同的编程模型（基于任务的模型和MPI）在Julia中实现 ......
分布式系统理解
什么是分布式系统 任务在多个相对独立的物理节点上进行（即软件或硬件分布在不同的计算机设备上）简单说，就是不同的业务模块，部署在不同服务器。彼此通过消息传递进行通信。解决了高并发问题。 分布式特点 CAP：代表了分布式系统的三个相互矛盾的属性 1.Consistency（一致性）: 访问所有节点，得到 ......
实数完备性理论
实数完备性 相关概念 实数基本性质： 有序性 传递性 Archimedes 性（对 \(\forall a,b\in\mathbb{R}\), 若 \(b>a>0\), 则 \(\exists n\in\mathbb{N}^+\), 使得 \(na>b.\) 稠密性 实数系基本定理： 确界原理：设 ......
博学谷学习记录 自我总结 用心分享 | ElasticSearch分布式检索引擎
1、Elasticsearch基本概念 Elasticsearch是基于Apache Lucene的开源、分布式、可扩展、实时的数据搜索和分析引擎。ES不仅仅支持全文搜索，还是一个分布式文档数据库，每个字段都是被索引的数据并且可被搜索。总体来说有如下特性： 一个分布式的实时文档存储引擎，每个字段都可 ......
Kafka：用于日志处理的分布式消息系统
周末躺不平，摆不烂，卷不动，随便读一篇paper吧 原文：Kafka: a Distributed Messaging System for Log Processing 作者：Jay Kreps / Neha Narkhede / Jun Rao 这三尊神就是当初在LinkedIn开发Kafka的 ......
Redis分布式锁实现
FreeRedis 实现源码 /// <summary> /// 开启分布式锁，若超时返回null /// </summary> /// <param name="name">锁名称</param> /// <param name="timeoutSeconds">超时（秒）</param> /// ......
全球洋流分布、性质
手画，丑，见谅 正常洋流 北赤道暖流 分布：赤道偏北的洋面上。 特点：直线向西流。 本质：风海流（信风吹拂）。 南赤道暖流 分布：赤道偏南的洋面上。 特点：直线向西流。 本质：风海流（信风吹拂）。 西风漂流 分布：南半球西风带。 特点：向东流，环绕地球。 本质：风海流（西风吹拂）。 赤道逆流 分布： ......
信息学奥赛基础理论知识
⦁ 信息学奥赛简介： NOIP：全国青少年信息学奥林匹克联赛是教育部认可的五大学科（数学，物理，化学，生物，信息学）竞赛之一，由1984中国计算机学会（CCF）创办，联赛分为普及组和提高组。复赛可以使用c，c++，Pascal语言，2022年后只能使用c++。 CSP-J/S：2019年CCF推出C ......
分布式--Base理论
一、定义 BASE 是 Basically Available（基本可用）、Soft-state（软状态） 和 Eventually Consistent（最终一致性） 二、简介 BASE理论本质上是对CAP的延伸和补充，是对CAP中的AP方案的一个补充，即在选择AP方案的情况下，如何更好地最终达到 ......
云原生 | 从零开始，Minio 高性能分布式对象存储快速入手指南
对象存储（Object Storage）是一种存储数据的计算机体系结构，它以对象的形式存储和管理数据。与传统的文件系统和块存储不同，对象存储将数据作为对象存储在分布式的存储集群中，每个对象都有一个唯一的标识符（通常是一个URL），并且可以通过这个标识符来访问和检索数据。 ......