分布式 方案redis
动态更改Spring定时任务Cron表达式的优雅方案
"Most of you are familiar with the virtues of a programmer. There are three, of course: laziness, impatience, and hubris." - Larry Wall “程序员的美德：懒惰，不耐烦 ......
如何基于 Redis 实现分布式锁
什么是分布式锁 分布式锁：不同进程必须以互斥方式使用共享资源的一种锁方法实现。 实现分布式锁的基础 互斥。任何时刻，只有一个客户端持有锁。 无死锁。最终总是有可能获得锁，即使持有锁的客户端已经崩溃。 单个 Redis 分布式锁实现 上锁 上锁需要考虑俩点 原子性 锁能自动释放 首先要考虑持有锁的客户 ......
【分布式技术专题】「架构设计方案」盘点和总结秒杀服务的功能设计及注意事项技术体系
分析秒杀的业务场景，最重要的有一点就是超卖问题，假如备货只有100个，但是最终超卖了200，一般来讲秒杀系统的价格都比较低，如果超卖将严重影响公司的财产利益，因此首当其冲的就是解决商品的超卖问题。 ......
作者推荐 | 【分布式技术专题】「架构设计方案」图解学习法总结集群模式下的各种软负载均衡策略实现及原理分析
通常来说，负载均衡分为硬件负载均衡及软件负载均衡。硬件负载均衡，顾名思义，在服务器节点之间安装专门的硬件进行负载均衡的工作，F5或者A10便为其中的佼佼者。软件负载均衡则是通过在服务器上安装的特定的负载均衡软件或是自带负载均衡模块完成对请求的分配派发。例如，平时我们使用的Nginx或者API-Gat... ......
【秒杀购物商城业务服务】「分布式架构服务」盘点中间件服务的高可用模式及集群技术的方案分析
- 基于MySQL数据库集群技术实现服务的高可用
- 基于Tomcat的集群负载机制实现Tomcat服务器的高可用
- 基于Nginx负载均衡机制实现负载均衡（介绍和配置）
- 基于Redis缓存服务实现数据缓存控制相关介绍和技术点分析
- 对未来的分布式技术架构扩展和延伸介绍（包含云原生部分） ......
秒级查询之开源分布式SQL查询引擎Presto实操-上
大数据交互式查询是每个数据分析人员不可或缺的需求，本篇以业界交互式查询的经典之作Presto为研究对象，了解其架构和优缺点及丰富连接器。并通过安装一个协调节点和3个worker节点的分布式集群，使用命令行界面演示hive连接器的查询数据表的示例，最后了解其使用的要点。 ......
详解redis网络IO模型
前言 "redis是单线程的" 这句话我们耳熟能详。但它有一定的前提，redis整个服务不可能只用到一个线程完成所有工作，它还有持久化、key过期删除、集群管理等其它模块，redis会通过fork子进程或开启额外的线程去处理。所谓的单线程是指从网络连接(accept) -> 读取请求内容(read) ......
kestrel网络编程--开发redis服务器
1 文章目的 本文讲解基于kestrel开发实现了部分redis命令的redis伪服务器的过程，让读者了解kestrel网络编程的完整步骤，其中redis通讯协议需要读者自行查阅，文章里不做具体解析。 2 开发顺序 创建Kestrel的Redis协议处理者 配置监听的EndPoint并使用Redis ......
rate-limit 一款 java 开源渐进式分布式限流框架使用介绍
项目简介 rate-limit 是一个为 java 设计的渐进式限流工具。 目的是为了深入学习和使用限流，后续将会持续迭代。 特性 渐进式实现 支持独立于 spring 使用 支持整合 spring 支持整合 spring-boot 内置多种限流策略 快速开始 需求 jdk 1.7 maven 3. ......
为什么分布式限流会出现不均衡的情况？
概述 在微服务、API 化、云原生大行其道的今天，服务治理不可或缺，而服务治理中限流几乎是必不可少的手段；微服务化往往伴随着分布式的架构，那么仅仅单机限流是不够的，还需要分布式的限流。 那么问题就来了：分布式限流中，往往会出现「限流不均衡」或「限流误差」的情况，这是为什么呢？ 限流 国庆假期，限流这 ......
Redis的数据复制
本篇文章介绍了Redis的数据复制1. 完整重同步、2. 部分重同步、3. 命令传播、4. 心跳检测、5. 介绍 偏移量 & 积压缓冲区 & 运行ID ......
Redis的数据持久化
介绍 Redis 的数据持久化方案 Redis 的数据持久化主要有两大机制，AOF 日志和 RDB 快照。 AOF 持久化是通过保存 Redis 服务器所执行的写命令来记录数据库状态。 RDB 持久化是通过保存数据库中的键值对来记录数据库状态。 根据服务器是否启用了 AOF 持久化功能， 服务器载入 ......
高可用系列文章之二 - 传统分层架构技术方案
前文链接 高可用系列文章之一 - 概述 - 东风微鸣技术博客 (ewhisper.cn) 三 技术方案 3.1 概述 单点是系统高可用最大的风险和敌人，应该尽量在系统设计的过程中避免单点。 保障系统的高可用, 方法论上，高可用保证的原则是「集群化」(或 「冗余」), 只有一个单点，该单点宕机所有服务 ......
监控Kubernetes集群证书过期时间的三种方案
前言 Kubernetes 中大量用到了证书, 比如 ca证书、以及 kubelet、apiserver、proxy、etcd等组件，还有 kubeconfig 文件。 如果证书过期，轻则无法登录 Kubernetes 集群，重则整个集群异常。 为了解决证书过期的问题，一般有以下几种方式： 大幅延长 ......
高可用系列文章之三 - NGINX 高可用实施方案
前文链接 高可用系列文章之一 - 概述 - 东风微鸣技术博客 (ewhisper.cn) 高可用系列文章之二 - 传统分层架构技术方案 - 东风微鸣技术博客 (ewhisper.cn) 四 NGINX 高可用实施方案 高可用的实施, 主要步骤概述如下: NGINX 的安装及基础配置 负载均衡层高可用 ......
自己动手基于 Redis 实现一个 .NET 的分布式锁类库
分布式锁的核心其实就是采用一个集中式的服务，然后多个应用节点进行抢占式锁定来进行实现，今天介绍如何采用Redis作为基础服务，实现一个分布式锁的类库，本方案不考虑 Redis 集群多节点问题，如果引入集群多节点问题，会导致解决成本大幅上升，因为 Redis 单节点就可以很容易的处理10万并发量了，这 ......
现代 CSS 高阶技巧，不规则边框解决方案
本文是 CSS Houdini 之 CSS Painting API 系列第四篇。 现代 CSS 之高阶图片渐隐消失术 现代 CSS 高阶技巧，像 Canvas 一样自由绘图构建样式！ 现代 CSS 高阶技巧，完美的波浪进度条效果！ 在上三篇中，我们详细介绍了 CSS Painting API 是如 ......
分布式注册服务中心etcd在云原生引擎中的实践
作者：王雷 etcd是什么 etcd是云原生架构中重要的基础组件，由CNCF孵化托管。ETCD是用于共享配置和服务发现的分布式，一致性的KV存储系统，是CoreOS公司发起的一个开源项目，授权协议为Apache。etcd 基于Go语言实现，主要用于共享配置，服务发现，集群监控，leader选举，分布 ......
.NET 云原生架构师训练营（基于 OP Storming 和 Actor 的大型分布式架构一）--学习笔记
目录 为什么我们用 Orleans Dapr VS Orleans Actor 模型 Orleans 的核心概念 为什么我们用 Orleans 分布式系统开发、测试的难度（服务发现、通信） 运维的复杂度（伸缩性与可靠性的保障） actor 拥有全局唯一身份 自动伸缩功能 Dapr VS Orlean ......
手把手教你一套完善且高效的k8s离线部署方案
作者：郝建伟 背景 面对更多项目现场交付，偶而会遇到客户环境不具备公网条件，完全内网部署，这就需要有一套完善且高效的离线部署方案。 系统资源 | 编号 | 主机名称 | IP | 资源类型 | CPU | 内存 | 磁盘 | | -- | | | | | | | | 01 | k8s-master1 ......
浏览器打印方案
前言 在web端打印是比较常见的需求，实际工作中也接触了不少，在这里对工作中用到的做一下总结 1.通过媒体查询隐藏元素 通过style标签内联引入，或者使用媒体查询media="print"外链样式表。然后将无关元素隐藏，只将需要打印的内容展示出来；这时候需要专门写一套打印样式，页面修改，打印样式可 ......
一图看懂Hadoop中的MapReduce与Spark的区别：从单机数据系统到分布式数据系统经历了哪些?
今日博主思考了一个问题：Hadoop中的MapReduce与Spark他们之间到底有什么关系？ 直到我看到了下面这张图 废话不多说先上图👇 我们知道，单机数据系统，在本地主机上针对数据有单机本地存储操作（localFS）和单机计算操作（SQL） 这是在数据量比较小方便在一台主机就完成任务的情况。 ......
万字长文！对比分析了多款存储方案，KeeWiDB最终选择自己来
大数据时代，无人不知Google的“三驾马车”。“三驾马车”指的是Google发布的三篇论文，介绍了Google在大规模数据存储与计算方向的工程实践，奠定了业界大规模分布式存储系统的理论基础，如今市场上流行的几款国产数据库都有参考这三篇论文。 《The Google File System》，200 ......
SpringBoot3.x中spring.factories功能被移除的解决方案
背景 笔者所在项目组在搭建一个全新项目的时候选用了SpringBoot3.x，项目中应用了很多SpringBoot2.x时代相关的第三方组件例如baomidou出品的mybatis-plus、dynamic-datasource等。在配置好相关依赖、最小启动类和配置之后，发现项目无法启动。于是根据启 ......
redisson分布式锁原理剖析
redisson分布式锁原理剖析 相信使用过redis的，或者正在做分布式开发的童鞋都知道redisson组件，它的功能很多，但我们使用最频繁的应该还是它的分布式锁功能，少量的代码，却实现了加锁、锁续命(看门狗)、锁订阅、解锁、锁等待（自旋）等功能，我们来看看都是如何实现的。 加锁 //获取锁对 ......
面试官：介绍一下 Redis 三种集群模式
小码今天去面试。 面试官：给我介绍一下Redis集群， 小码：啊，平时开发用的都是单机Redis，没怎么用过集群了。 面试官：好的，出门右转不谢。 小码内心困惑：在小公司业务量也不大，单机的 Redis 完全够用，也不会发生宕机问题啊。面试要问到 Redis 集群该怎么办呢？ Redis 为何要有集 ......
详解 Redis 中 big keys 发现和解决
在使用 Redis 时，可能会出现请求响应慢、网络卡顿、数据丢失的情况。排查问题的时候，发现是 big keys 的问题。 什么是 big keys 在 Redis 中，一个字符串类型最大可以达到 512MB,其他非字符串类型的集合类型（list、set、hash、zset等）可以存储 40 亿个( ......
Go1.20 新版覆盖率方案解读
玩过Go覆盖率的同学当有所了解，Go的覆盖率方案最初的设计目标仅是针对单测场景，导致其局限性很大。而为了适配更多的场景，行业内各种博客、插件、黑科技介绍也层出不穷。当然，过去我们也开源过Go系统测试覆盖率收集利器 - goc，算其中比较完善，比较系统的了。且从用户使用角度来看，goc也确实解决了行业 ......
基于jenkins+kubernetes的cicd流程实践一：环境搭建及方案原理
1.基础环境：Centos7.9，kubernetes:v1.21.5 node-1@112（master）：docker，containerd，harbornginx（80），git，etcd node-2@109（master/worker）：docker，containerd，ingress_ ......