架构 分布式storming笔记
秒级查询之开源分布式SQL查询引擎Presto实操-上
大数据交互式查询是每个数据分析人员不可或缺的需求，本篇以业界交互式查询的经典之作Presto为研究对象，了解其架构和优缺点及丰富连接器。并通过安装一个协调节点和3个worker节点的分布式集群，使用命令行界面演示hive连接器的查询数据表的示例，最后了解其使用的要点。 ......
架构设计（三）：引入缓存
架构设计（三）：引入缓存 作者：Grey 原文地址： 博客园：架构设计（三）：引入缓存 CSDN：架构设计（三）：引入缓存 缓存是一个临时存储区域，如果请求的数据获取代价比较高或者数据的访问频率比较高，则会把响应结果存储在内存中，以便更快速地提供后续请求。 每次加载一个新的网页，都要执行一次或多次数 ......
架构设计（二）：数据库复制
架构设计（二）：数据库复制 作者：Grey 原文地址： 博客园：架构设计（二）：数据库复制 CSDN：架构设计（二）：数据库复制 在架构设计（一）：从单服务器模式到负载均衡设计中提到了数据库类型的选择， 针对大数据量，高可用的场景，数据库复制是一种比较好的方式，其中多个数据库实例之间可以是主/从关系 ......
架构设计（五）：有状态服务和无状态服务
架构设计（五）：有状态服务和无状态服务 作者：Grey 原文地址： 博客园：架构设计（五）：有状态服务和无状态服务 CSDN：架构设计（五）：有状态服务和无状态服务 无状态的服务 在横向扩展服务的过程中，将状态（例如用户会话数据）从服务中移出并将会话数据存储在持久性存储介质中，如关系型数据库或 No ......
架构设计（一）：从单服务器模式到负载均衡设计
架构设计（一）：从单服务器模式到负载均衡设计 作者：Grey 原文地址： 博客园：架构设计（一）：从单服务器模式到负载均衡设计 CSDN：架构设计（一）：从单服务器模式到负载均衡设计 单服务器模型是最简单的一种架构，参考如下图 用户访问一个 URL，URL 会先到 DNS 服务器进行域名解析，然后返 ......
rate-limit 一款 java 开源渐进式分布式限流框架使用介绍
项目简介 rate-limit 是一个为 java 设计的渐进式限流工具。 目的是为了深入学习和使用限流，后续将会持续迭代。 特性 渐进式实现 支持独立于 spring 使用 支持整合 spring 支持整合 spring-boot 内置多种限流策略 快速开始 需求 jdk 1.7 maven 3. ......
云原生架构（三）简单样例
系列目录 云原生架构（一）原理概览 云原生架构（二）环境搭建 云原生架构（三）简单样例 云原生架构（四）源码详解 云原生架构（五）总结提高 一、目标&准备 1.1 目标 前两节，我们学习了云原生架构Istio的原理概览、环境搭建。要快速熟悉一个技术架构，最快的方式是先跑起来。这一节我们以Istio服 ......
高可用系列文章之二 - 传统分层架构技术方案
前文链接 高可用系列文章之一 - 概述 - 东风微鸣技术博客 (ewhisper.cn) 三 技术方案 3.1 概述 单点是系统高可用最大的风险和敌人，应该尽量在系统设计的过程中避免单点。 保障系统的高可用, 方法论上，高可用保证的原则是「集群化」(或 「冗余」), 只有一个单点，该单点宕机所有服务 ......
为什么分布式限流会出现不均衡的情况？
概述 在微服务、API 化、云原生大行其道的今天，服务治理不可或缺，而服务治理中限流几乎是必不可少的手段；微服务化往往伴随着分布式的架构，那么仅仅单机限流是不够的，还需要分布式的限流。 那么问题就来了：分布式限流中，往往会出现「限流不均衡」或「限流误差」的情况，这是为什么呢？ 限流 国庆假期，限流这 ......
云原生架构（二）环境搭建（Mac上安装Istio---Docker+Kubernetes+Istio一条龙）
系列目录 云原生架构（一）原理概览 云原生架构（二）环境搭建 云原生架构（三）简单样例 云原生架构（四）源码详解 云原生架构（五）总结提高 一、背景 Istio 项目由 Google 和 IBM 的团队与 Lyft 的 Envoy 团队合作启动。它已经完全在 GitHub 上公开开发。目前已经是“S ......
MIT6.828学习笔记3(Lab3)
在这个lab中我们需要创建一个用户环境（UNIX中的进程，它们的接口和实现不同），加载一个程序并运行，并使内核能够处理一些常用的中断请求。 ......
自己动手基于 Redis 实现一个 .NET 的分布式锁类库
分布式锁的核心其实就是采用一个集中式的服务，然后多个应用节点进行抢占式锁定来进行实现，今天介绍如何采用Redis作为基础服务，实现一个分布式锁的类库，本方案不考虑 Redis 集群多节点问题，如果引入集群多节点问题，会导致解决成本大幅上升，因为 Redis 单节点就可以很容易的处理10万并发量了，这 ......
微服务组件-----Spring Cloud Alibaba 注册中心Nacos的CP架构Raft协议分析
前言 本篇幅是继 注册中心Nacos源码分析 的下半部分。 意义 【1】虽说大部分我们采用注册中心的时候考虑的都是AP架构，为什么呢？因为性能相对于CP架构来说更高，需要等待的时间更少【相对于CP架构，采用的是二段提交，AP架构是直接落盘数据，然后进行数据扩散，来达到最终一致，所以客户端收到响应会更 ......
Pytorch学习笔记之tensorboard
训练模型过程中，经常需要追踪一些性能指标的变化情况，以便了解模型的实时动态，例如：回归任务中的MSE、分类任务中的Accuracy、生成对抗网络中的图片、网络模型结构可视化…… 除了追踪外，我们还希望能够将这些指标以动态图表的形式可视化显示出来。
TensorFlow的附加工具Tensorboar... ......
.NET 云原生架构师训练营（基于 OP Storming 和 Actor 的大型分布式架构一）--学习笔记
目录 为什么我们用 Orleans Dapr VS Orleans Actor 模型 Orleans 的核心概念 为什么我们用 Orleans 分布式系统开发、测试的难度（服务发现、通信） 运维的复杂度（伸缩性与可靠性的保障） actor 拥有全局唯一身份 自动伸缩功能 Dapr VS Orlean ......
轻量级的架构决策记录机制
作者：倪新明 ADR是一种性价比非常高的架构决策文档化实践，团队引入和实践成本很低，却能为团队带来极大收益！ 1 团队研发面临的问题 不论是在传统的IT行业，还是互联网行业，研发团队在架构决策层面或多或少的都会面临以下问题或挑战： •新成员加入团队，对系统现有的架构决策可能会盲目遵守，只知其然，不知 ......
Dubbo架构设计与源码解析（三）责任链模式
作者：周可强 一、责任链模式简介 1、责任链模式定义 责任链（Chain of Responsibility）模式的定义：为了避免请求发送者与多个请求处理者耦合在一起，于是将所有请求的处理者通过前一对象记住其下一个对象的引用而连成一条链；当有请求发生时，可将请求沿着这条链传递，直到有对象处理它为止。 ......
分布式注册服务中心etcd在云原生引擎中的实践
作者：王雷 etcd是什么 etcd是云原生架构中重要的基础组件，由CNCF孵化托管。ETCD是用于共享配置和服务发现的分布式，一致性的KV存储系统，是CoreOS公司发起的一个开源项目，授权协议为Apache。etcd 基于Go语言实现，主要用于共享配置，服务发现，集群监控，leader选举，分布 ......
【图像处理笔记】小波变换
【图像处理笔记】总目录 0 引言 1987年，小波被证明是多分辨率信号处理和分析的基础。多分辨率理论融合并统一了来自不同学科的技术，包括来自信号处理的子带编码、来自数字语音识别的正交镜像滤波及金字塔图像处理。顾名思义，多分辨率理论涉及多个分辨率下的信号（或图像）表示与分析。 曾经有人问我有关haar ......
【图像处理笔记】傅里叶变换
【图像处理笔记】总目录 0 引言 在之前的博客图像增强，傅里叶变换（OpenCV)中都有用到过傅里叶变换，但一直都不是特别理解，现系统地学习一下。先来看一个视频傅里叶级数与傅立叶变换，我们了解到任何周期函数都可以表示为不同频率的正弦函数和/或余弦函数之和，其中每个正弦函数和/或余弦函数都乘以不同的系 ......
新零售SaaS架构：多租户系统架构设计
传统大企业更喜欢私有化部署、个性化交付的传统模式，因为他们需要更强的管控和更高的安全性。
然而，中小企业付费能力有限，需求往往也更加标准化，所以更喜欢价格更低的、订购更简单的SaaS产品。
为了满足不同客户的需求，多租户的底层架构设计是至关重要的。 ......
【深入浅出 Yarn 架构与实现】4-1 ResourceManager 功能概述
前面几篇文章对 Yarn 基本架构、程序基础库、应用设计方法等进行了介绍。之后几篇将开始对 Yarn 核心组件进行剖析。
ResourceManager（RM）是 Yarn 的核心管理服务，负责集群管理、任务调度、状态机管理等，本篇将对 RM 总体架构进行介绍。 ......
一图看懂Hadoop中的MapReduce与Spark的区别：从单机数据系统到分布式数据系统经历了哪些?
今日博主思考了一个问题：Hadoop中的MapReduce与Spark他们之间到底有什么关系？ 直到我看到了下面这张图 废话不多说先上图👇 我们知道，单机数据系统，在本地主机上针对数据有单机本地存储操作（localFS）和单机计算操作（SQL） 这是在数据量比较小方便在一台主机就完成任务的情况。 ......
redisson分布式锁原理剖析
redisson分布式锁原理剖析 相信使用过redis的，或者正在做分布式开发的童鞋都知道redisson组件，它的功能很多，但我们使用最频繁的应该还是它的分布式锁功能，少量的代码，却实现了加锁、锁续命(看门狗)、锁订阅、解锁、锁等待（自旋）等功能，我们来看看都是如何实现的。 加锁 //获取锁对 ......
视频超分之BasicVSR-阅读笔记
1.介绍 对于视频超分提出了很多方法，EDVR中采用了多尺度可变形对齐模块和多个注意层进行对齐和定位并且从不同的帧聚合特征，在RBPN中，多个投影模块用于顺序聚合多个帧中的特征。这样的设计是有效的，但不可避免地增加了运行时和模型的复杂性。此外，与SISR不同，VSR方法的潜在复杂和不同设计在实施和扩 ......
视频超分之BasicVSR++阅读笔记
1.介绍 在这项工作中，我们通过设计二阶网格传播和流引导的可变形对齐来重新设计BasicVSR，使信息能够更有效地传播和聚合。 如图所示，提出的二阶网格传播解决了BasicVSR中的两个限制：i）我们允许以类似网格的方式进行更积极的双向传播，ii）我们放松了BasicVSR中一阶马尔可夫特性的假设， ......
Lakehouse架构指南
你曾经是否有构建一个开源数据湖来存储数据以进行分析需求？ 数据湖包括哪些组件和功能？ 不了解 Lakehouse 和 数据仓库 之间的区别？ 或者只是想管理数百到数千个文件并拥有更多类似数据库的功能但不知道如何操作？ 本文解释了数据湖的细节以及哪些技术可以构建一个Lakehouse，以避免创建没有结 ......
深度解析KubeEdge EdgeMesh 高可用架构
摘要：通过高可用特性应用场景、高可用特性使用手册、课题总结、未来展望等四个部分的内容来向大家介绍新版本EdgeMesh的高可用架构。 本文分享自华为云社区《KubeEdge EdgeMesh 高可用架构详解|KubeEdge云原生边缘计算社区》，作者：南开大学｜达益鑫。 EdgeMesh项目解决了边 ......
Flink同步Kafka数据到ClickHouse分布式表
公众号文章都在个人博客网站：https://www.ikeguang.com/ 同步，欢迎访问。 业务需要一种OLAP引擎，可以做到实时写入存储和查询计算功能，提供高效、稳健的实时数据服务，最终决定ClickHouse。 什么是ClickHouse？ ClickHouse是一个用于联机分析(OLAP ......
JUC源码学习笔记6——ReentrantReadWriteLock
系列文章目录和关于我 阅读此文需要有AQS独占和AQS共享的源码功底，推荐阅读： 1.JUC源码学习笔记1——AQS独占模式和ReentrantLock 2.JUC源码学习笔记2——AQS共享和Semaphore，CountDownLatch 一丶类结构和源码注释解读 1.ReadWriteLock ......