526互联

分布式 架构lvs原理

Dubbo 中 Zookeeper 注册中心原理分析

本文通过分析Dubbo中ZooKeeper注册中心的实现ZooKeeperResitry的继承体系结构，详细介绍了Dubbo中ZooKeeper注册中心的实现原理。 ......
Zookeeper 原理 Dubbo

05安装一个Hadoop分布式集群

安装一个Hadoop分布式集群 最小化的Hadoop已经可以满足学习过程中大部分需求，但是为了研究Hadoop集群运行机制，部署一个类生产的环境还是有必要的。因为集群机器比较少，笔者没有配置ssh，所以就需要在每一台机器上手动启动服务。启动上相对繁琐一些，优点是可以高度自定义集群中的任务节点数量，从 ......
分布式 集群 Hadoop

分布式事务 | 使用DTM 的Saga 模式

DTM 首创的子事务屏障技术，使得开发者基于DTM 提供的SDK能够轻松开发出更可靠的分布式应用，彻底将开发人员从网络异常的处理中解放出来，再也不用担心空补偿、防悬挂、幂等等分布式问题。如果要进行分布式事务框架的选型，DTM 将是不二之选。 ......
分布式 事务 模式 Saga DTM

分布式事务 | 使用 dotnetcore/CAP 的本地消息表模式

本地消息表模式，其作为柔性事务的一种，核心是将一个分布式事务拆分为多个本地事务，事务之间通过事件消息衔接，事件消息和上个事务共用一个本地事务存储到本地消息表，再通过定时任务轮询本地消息表进行消息投递，下游业务订阅消息进行消费，本质上是依靠消息的重试机制达到最终一致性。 ......
分布式 dotnetcore 事务 消息 模式

Android IO 框架 Okio 的实现原理，如何检测超时？

本文已收录到 AndroidFamily，技术和职场问题，请关注公众号 [彭旭锐] 提问。 前言 大家好，我是小彭。 在上一篇文章里，我们聊到了 Square 开源的 I/O 框架 Okio 的三个优势：精简且全面的 API、基于共享的缓冲区设计以及超时机制。前两个优势已经分析过了，今天我们来分析 ......
框架 原理 Android Okio IO

Android IO 框架 Okio 的实现原理，到底哪里 OK？

本文已收录到 AndroidFamily，技术和职场问题，请关注公众号 [彭旭锐] 提问。 前言 大家好，我是小彭。 今天，我们来讨论一个 Square 开源的 I/O 框架 Okio，我们最开始接触到 Okio 框架还是源于 Square 家的 OkHttp 网络框架。那么，OkHttp 为什么要 ......
框架 原理 Android Okio IO

数据结构-详解优先队列的二叉堆（最大堆）原理、实现和应用-C和Python

一、堆的基础 1.1 优先队列和堆 优先队列（Priority Queue）：特殊的“队列”，取出元素顺序是按元素优先权（关键字）大小，而非元素进入队列的先后顺序。 若采用数组或链表直接实现优先队列，代价高。依靠数组，基于完全二叉树结构实现优先队列，即堆效率更高。一般来说堆代指二叉堆。 优先队列的完 ......
数据结构 队列 大堆 原理 结构

探索ABP基础架构的横切关注点

大家好，我是张飞洪，感谢您的阅读，我会不定期和你分享学习心得，希望我的文章能成为你成长路上的垫脚石，让我们一起精进。 授权、验证、异常处理和日志记录等横切关注点是每个系统的基本组成部分，它们对于确保系统的安全和良好运行至关重要。 实现横切关注点会导致应用中的很多地方出现重复代码。此外，一次授权或验证 ......
关注点 架构 基础 ABP

深入解读.NET MAUI音乐播放器项目（一）：概述与架构

为什么想起来这个项目了呢？这是一个Windows Phone 8的老项目，2014年用作为兴趣写了个叫“番茄播放器”的App，顺便提高编程技能。这个项目的架构历经多次迁移，从WP8到UWP再到Xamarin.Forms。去年底随着MAUI的正式发布，又尝试把它迁移到MAUI上来。 ......
架构 播放器 项目 音乐 MAUI

Nacos服务注册原理分析

在分布式服务中，原来的单体服务会被拆分成一个个微服务，服务注册实例到注册中心，服务消费者通过注册中心获取实例列表，直接请求调用服务。 服务是如何注册到注册中心，服务如果挂了，服务是如何检测？带着这些问题，我们从源码上对服务注册进行简单的源码分析。 版本 2.1.1 Nacos Server:2.1. ......
原理 Nacos

开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-上

再下一城又一个实时多维交互式分析数仓利器，了解其特性和架构组成，进一步阐述相关概念和其生态圈；介绍作为开发测试最快捷方式的Docker单机部署；也基于Hadoop环境一步步部署最新v4.0.3二进制并解决遇到的问题，最后通过一个读取hive数据示例介绍kylin创建项目、选择数据源、创建Model、... ......
数据 数据分析 分布式 仓库 规模

开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-下

本篇先通过Kylin对连接条件、维度和度量限制的示例弄清Kylin的使用注意事项，在此基础上研究Kylin查询引擎，并配置spark查询下压实现没有cube的查询；理解Cube的构建优化，通过官方提供RestAPI实现动态灵活查询和cube构建，最后通过集成JDBC的Java代码实现简单查询操作。 ......
数据 数据分析 分布式 仓库 规模

.Net Core对于`RabbitMQ`封装分布式事件总线

首先我们需要了解到分布式事件总线是什么； 分布式事件总线是一种在分布式系统中提供事件通知、订阅和发布机制的技术。它允许多个组件或微服务之间的协作和通信，而无需直接耦合或了解彼此的实现细节。通过事件总线，组件或微服务可以通过发布或订阅事件来实现异步通信。 例如，当一个组件完成了某项任务并生成了一个事件 ......
分布式 总线 RabbitMQ 事件 Core

基于遗传算法的地图四色原理绘图上色的Python代码

本文介绍利用Python语言，实现基于遗传算法（GA）的地图四色原理着色操作。 1 任务需求 首先，我们来明确一下本文所需实现的需求。 现有一个由多个小图斑组成的矢量图层，如下图所示。 我们需要找到一种由4种颜色组成的配色方案，对该矢量图层各图斑进行着色，使得各相邻小图斑间的颜色不一致，如下图所示。 ......
算法 原理 代码 地图 Python

Pulsar负载均衡原理及优化

前言 前段时间我们在升级 Pulsar 版本的时候发现升级后最后一个节点始终没有流量。 虽然对业务使用没有任何影响，但负载不均会导致资源的浪费。 和同事沟通后得知之前的升级也会出现这样的情况，最终还是人工调用 Pulsar 的 admin API 完成的负载均衡。 这个问题我尝试在 Google 和 ......
原理 Pulsar

SpringBoot学习笔记 - 构建、简化原理、快速启动、配置文件与多环境配置、技术整合案例

【前置内容】Spring 学习笔记全系列传送门： Spring学习笔记 - 第一章 - IoC（控制反转）、IoC容器、Bean的实例化与生命周期、DI（依赖注入） Spring学习笔记 - 第二章 - 注解开发、配置管理第三方Bean、注解管理第三方Bean、Spring 整合 MyBatis 和 ......
SpringBoot 原理 案例 环境 文件

(一) MdbCluster分布式内存数据库——基础架构介绍

(一) MdbCluster分布式内存数据库——基础架构介绍 这个项目是怎么开始的我已经有些记不清楚了，大概是原来的内存数据库很不好用，一次次地让我们踩坑，我又自以为是地觉得可以做一个更好的出来。自从拥有自己的团队以来，我思考最多的总是如何带着团队做出有意义和有价值的产品，而不是将时间浪费在无谓的琐 ......
分布式 MdbCluster 架构 内存 数据库

单线程架构的Redis如此之快的 4 个原因

前言 作为内存中数据存储，Redis 以其速度和性能着称，通常被用作大多数后端服务的缓存解决方案。 但是，在内部，Redis 采用单线程架构。 为什么单线程设计依然会有这么高的性能？如果利用多线程并发处理请求不是更好吗？ 在本文中，让我们深入探讨为什么 Redis 才有单线程架构，依然如此之快，主要 ......
线程 架构 原因 Redis

分布式协议与算法-Raft算法

本文总结自：极客时间韩健老师的分布式协议与算法实战课程。 大家都知道，Raft算法属于Multi-Paxos算法，它是在Multi-Paxos思想的基础上，做了一些简化和限制。关于Paxos算法，博主在之前的文章有过总结，大家可以从这里跳转：分布式协议与算法-Paxos算法 关于Raft算法相关的开 ......
算法 分布式 Raft

云端智创 | 基于视频AI原理的音视频智能处理技术

本文内容整理自「智能媒体生产」系列课程第二讲：视频AI与智能生产制作，由阿里云智能视频云高级技术专家分享视频AI原理，AI辅助媒体生产，音视频智能化能力和底层原理，以及如何利用阿里云现有资源使用音视频AI能力。课程回放见文末。 01 算法演进：视频AI原理 在媒体生产的全生命周期中，AI算法辅助提升 ......
云端 原理 智能 技术 视频

认知篇：CQRS架构模式的本质

CQRS只是一种非常简单的模式（pattern），CQRS本身并不是一种架构风格，和最终一致性/消息/读写分离/事件溯源/DDD等没有必然的联系，它最大优势是给我们带来更多的架构属性选择 ......
架构 本质 模式 CQRS

搞懂设计模式——代理模式 + 原理分析

举个栗子，众所周知，我们是可以在京东上购买机票的。 但机票是航司提供的，我们本质上是代理销售而已。 那为什么航司要让我们代理销售呢？ 我们又是如帮他做代理的呢？ 别急，本文将展开说说他们之间的关系。。。 ......
模式 设计模式 原理

OpenMP 线程同步 Construct 实现原理以及源码分析（下）

在上面文章当中我们主要分析了 flush, critical, master 这三个 construct 的实现原理。在本篇文章当中我们将主要分析另外两个 construct : barrier 和 single 。 ......
线程 Construct 源码 原理 OpenMP

OpenMP For Construct dynamic 调度方式实现原理和源码分析

在本篇文章当中主要给大家介绍 OpenMp for construct 的实现原理，以及与他相关的动态库函数分析，与 for construct 非常相关的是循环的调度方式，在 OpenMP 当中一共有四种调调方式，auto, dynamic, guided, runtime, 在本篇文章当中主要是... ......
Construct 源码 原理 dynamic 方式

R数据分析：孟德尔随机化中介的原理和实操

中介本身就是回归，基本上我看到的很多的调查性研究中在中介分析的方法部分都不会去提混杂，都是默认一个三角形画好，中介关系就算过去了，这里面默认的逻辑就是前两步回归中的混杂是一样的，计算中介效应的时候就自动消掉了。 但是，实际上对不对，还是有待具体分析的： Traditional, non-instru ......
数据分析 原理 中介 数据

NAPT网络结构下TCP/UDP/ICMP访问外网原理思考

背景 作为程序员，应该都听说过NAT(Network Address Transfer，网络地址转换)这一技术名词，并或多或少大概知道其原理与作用--NAT是用于解决IPv4地址不够用，保证我们能够在IPv6普及前依然可以正常使用互联网而广泛使用的一个技术，其原理正如其名称所示：其可以将私网IP通过 ......
原理 结构 网络 NAPT ICMP

一文读懂Go Http Server原理

hello大家好呀，我是小楼，这是系列文《Go底层原理剖析》的第二篇，依旧是分析 Http 模块，话不多说，开始。 从一个 Demo 入手 俗话说万事开头难，但用 Go 实现一个 Http Server 真不难，简单到什么程度？起一个 Server，并且能响应请求，算上包名、导入的依赖，甚至空行，也 ......
原理 Server Http

用Java写一个分布式缓存——缓存管理

之前也用过一些缓存中间件，框架，也想着自己是不是也能用Java写一个出来，于是就有了这个想法，打算在写的过程中同步进行总结 源码：https://github.com/weloe/Java-Distributed-Cache ......
缓存 分布式 Java

用Java写一个分布式缓存——缓存淘汰算法

前言 之前也用过一些缓存中间件，框架，也想着自己是不是也能用Java写一个出来，于是就有了这个想法，打算在写的过程中同步进行总结。 源码：weloe/Java-Distributed-Cache (github.com) 本篇代码： Java-Distributed-Cache/src/main/j ......
缓存 分布式 算法 Java

不懂编译原理？本文教你从零实现最简编译模型！

简介 前两日我偶然间在 GitHub 上发现了一个项目：the-super-tiny-compiler，官方介绍说这可能是一个最简的编译器。刚好之前学过「编译原理」这门课，我的兴趣一下子就上来了，简单看了一下，这个项目是将一个 Lisp 表达式转化为 C 的表达式的编译器，中间涉及词法分析、语法分析 ......
模型 原理
共7000篇  :173/234页 首页上一页173下一页尾页