容错性 可用性 一致性 理论
利润（成本）中心/层次结构数据同步ERP的不一致问题
一、问题描述 当配置了ALE使用IDoc实现MDG利润中心、层次结构分发SAP ERP同步利润中心、利润中心组，有时会出现这样的问题。 分发方向：MDG —> ECC/S4 消息类型：PRCMAS（利润中心），COGRP6（利润中心组） ERP利润中心主数据上的“利润中心组”字段被成功写入，但是通过 ......
分布式理论
一、分布式理论 1.CAP理论 CAP理论是说对于分布式数据存储，最多只能同时满足一致性（C，Consistency）、可用性（A， Availability）、分区容忍性（P，Partition Tolerance）中的两者。 1.一致性 是指对于每一次读操作，都能够读到最新写入的数据，且每个节点 ......
使用kubeadm搭建高可用的K8s集群
kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具。 这个工具能通过两条指令完成一个kubernetes集群的部署： # 创建一个 Master 节点 $ kubeadm init # 将一个 Node 节点加入到当前集群中 $ kubeadm join <Master节点 ......
CosineWarmup理论与代码实战
摘要：CosineWarmup是一种非常实用的训练策略，本次教程将带领大家实现该训练策略。教程将从理论和代码实战两个方面进行。 本文分享自华为云社区《CosineWarmup理论介绍与代码实战》，作者： 李长安。 CosineWarmup是一种非常实用的训练策略，本次教程将带领大家实现该训练策略。教 ......
【MySQL】通过xenon实现数据库高可用集群
[root@node01 ~]# yum install -y golang screen git[root@node01 ~]# which ip /usr/sbin/ip [root@node01 ~]# visudo mysql ALL=(ALL) NOPASSWD:/usr/sbin/ip ......
架构师成长计划｜如何利用云原生构建一个企业级高可用架构
Gartner 报告指出，到 2022 年，有 75% 的全球化企业将在生产中使用云原生的服务化应用。不仅是互联网行业，制造、房地产、生物医药、政府等各行各业都将拥抱云原生技术。在这种背景下，行业也出现了较为彻底的预判：未来成功的企业都将采用云原生技术，并且是深度应用。 近几年，“云原生”这个词被提 ......
kubernetesk8s各个版本高可用集群灵活安装 掌握k8s日常运维
一、环境介绍 主机名称IP地址部署软件备注 k8s-master1 192.168.66.30 etcd+kube-apiserver+kube-controller-manager+kube-scheduler+Kubelet+docker+kube-proxy master k8s-master ......
【分布式技术专题】「分布式技术架构」一文带你厘清分布式事务协议及分布式一致性协议的算法原理和核心流程机制（Paxos篇）
概念简介 Paxos是一种基于消息传递具有高度容错特性的一致性算法，是目前公认的解决分布式一致性问题最有效的算法之一。 发展历史 Paxos算法的发展历史追溯到古希腊，当时有一个名为“Paxos“的小岛， 岛上采用一会的形式通过法令， 议会中议员通过信使进行消息传递，议员与信使都是兼职的，他们随时都 ......
自己动手从零写桌面操作系统GrapeOS系列教程——19.硬盘读写理论知识
学习操作系统原理最好的方法是自己写一个简单的操作系统。 一、硬盘控制器 我们前面已经讲过硬盘控制器是一种I/O接口，CPU通过它就能间接的读写硬盘。硬盘控制器主要有IDE和SATA两种，我们这里只考虑IDE控制器。 电脑里硬盘控制器有2个,一个叫主控制器，另一个叫从控制器。而每个硬盘控制器能连接两个 ......
Nginx + Keepalived 高可用集群部署
负载均衡技术对于一个网站尤其是大型网站的web服务器集群来说是至关重要的！做好负载均衡架构，可以实现故障转移和高可用环境，避免单点故障，保证网站健康持续运行。在使用 Nginx 做反向代理或者负载均衡的时候，都是以 Nginx 为入口，如果 Nginx 宕机了，那么所有的服务都无法正常提供，影响非常 ......
详解一致性哈希
在单机系统中，所有的数据都存储在同一个服务器下，当数据量越来越多的时候，超过了单机存储容量的上限，就需要使用分布式存储系统，在分布式存储系统重，数据会被拆分到不同的存储服务下，减少单机服务的压力。 哈希算法 在分布式系统中，每个节点存储的数据都是不同的。通过使用分布式存储，将数据水平拆分到不同的节点 ......
R-Drop论文复现与理论讲解
摘要：基于 Dropout 的这种特殊方式对网络带来的随机性，研究员们提出了 R-Drop 来进一步对（子模型）网络的输出预测进行了正则约束。 本文分享自华为云社区《R-Drop论文复现与理论讲解》，作者： 李长安。 R-Drop: Regularized Dropout for Neural Ne ......
解密数仓高可用failover流程
摘要： Gaussdb的HA采用主备从的架构实现数据可靠性。当主DN发生故障时，备DN走failover流程，升级成为新主DN，保证集群不因单DN故障而中断业务。 本文分享自华为云社区《【玩转PB级数仓GaussDB(DWS)】dws高可用之failover流程大解密》，作者：fxy0224。 众所 ......
现代图片性能优化及体验优化指南 - 图片资源的容错及可访问性处理
本文是系列第五篇，终章。系列文章： 现代图片性能优化及体验优化指南 - 图片类型及 Picture 标签的使用 现代图片性能优化及体验优化指南 - 响应式图片方案 现代图片性能优化及体验优化指南 - 缩放精细化展示及避免布局偏移、拉伸 现代图片性能优化及体验优化指南 - 懒加载及异步图像解码方案 图 ......
轮播图接口加缓存和定时更新(双写一致性问题以及其解决方案)
一、轮播图加缓存 有些知名网站首页被访问的频率很高，假设瞬间 1w个人在访问，首页的轮播图接口会执行1w次，1w次查询轮播图标的sql在执行，轮播图基本不变，首先我们给自己写的轮播图接口加缓存，我们可以用缓存数据库Redis来实现加缓存的需求 首先罗列一下文字版的逻辑，之后在代码上实现 当轮播图接口 ......
明解STM32—GPIO理论基础知识篇之八种工作模式
一、引言 在之前围绕STM32的GPIO的基本结构进行了介绍，图1为STM32的5V容忍的GPIO口内部基本结构图，图2为GPIO的基本结构中各个模块部分的概述。 阅读GPIO基本结构的内容能够对GPIO的工作模式有更深的了解。正是由于GPIO的结构中包含了多样性的电路和模块，因此进行合理的配置组合 ......
架构师日记-软件高可用实践那些事儿
关于软件的高可用，是一个老生常谈的话题。“高可用性”（High Availability）通常来描述一个系统经过专门的设计，从而减少停工时间，而保持其服务的高度可用性。其计算公式是：可用率=（总时间-不可用时间）/总时间。 ......
Eureka高可用集群服务端和客户端配置
微服务应用中，生产环境一般都需要保障服务注册中心的高可用！高可用也分好几个等级，例如：同数据中心(可用Zone区)高可用——》同地域(Region)跨数据中心(可用Zone区)高可用——》全国跨地域(Region)跨数据中心(可用Zone区)高可用——全球跨地域(Region)跨数据中心(可用Zon ......
利用kubeadm部署Kubernetes v1.22.10高可用集群
一、概述 Kubernetes集群控制平面(Master)节点右数据库服务(Etcd)+其它服务组件（Apiserver、Controller-manager、Scheduler等）组成；整个集群系统运行的交互数据都将存储到数据库服务(Etcd)中，所以Kubernetes集群的高可用性取决于数据库 ......
K3S系列文章-使用AutoK3s在腾讯云上安装高可用K3S集群
开篇 《K3s 系列文章》 《Rancher 系列文章》 方案 在腾讯云上安装 K3S 后续会在这套 K3S 集群上安装 Rancher 方案目标 高可用 3 台master 的 k3s 集群 数据备份 k3s 数据备份到 腾讯云对象存储 cos 尽量复用公有云的能力 ~~Tencent Cloud ......
MySQL8.0 高可用集群化 · mysql-shell · mysql-router · docker · 单主多从
MySQL8.0 高可用集群，mysql-shell、mysql-router、docker、单主多从、集群服务参数配置说明、GTID、binlog、AdminAPI 集群管理、负载均衡、读写分离、故障转移 ......
高复用性自动化脚本设计实践
作者：京东物流 刘红妍 导读： 在自动化测试实践中，为了更好的契合被测业务场景，需要不断优化框架分层结构。本文结合产品模块化思路，意在介绍通过策略模式改造原本复杂分支语句代码，通过理论讲解、思路分析、方案设计、及代码演示，提供自动化脚本重构的落地方案。 在今年的敏捷团队建设中，我通过Suite执行器 ......
明解STM32—GPIO理论基础知识篇之基本结构
一、前言 万物皆有源头，大家学习单片机的源头操作就是通过GPIO口点灯，GPIO作为STM32最基础的外设，也是大家最先接触的外设。当然，看似基础的GPIO，不仅仅是简单的设置好IO口，让灯亮起就一了百了，了解清楚GPIO的使用特性，根本原理、运行机制对我们在涉及到GPIO的相关设计操作上会应用 ......
随机高并发查询结果一致性设计实践
物流合约中心是京东物流合同管理的唯一入口。为商家提供合同的创建，盖章等能力，为不同业务条线提供合同的定制，归档，查询等功能。由于各个业务条线众多，为各个业务条线提供高可用查询能力是物流合约中心重中之重。同时计费系统在每个物流单结算时，都需要查询合约中心，确保商家签署的合同内容来保证计费的准确性。 ......
从实战出发，聊聊缓存数据库一致性
在云服务中，缓存是极其重要的一点。所谓缓存，其实是一个高速数据存储层。当缓存存在后，日后再次请求该数据就会直接访问缓存，提升数据访问的速度。但是缓存存储的数据通常是短暂性的，这就需要经常对缓存进行更新。而我们操作缓存和数据库，分为读操作和写操作。 读操作的详细流程为，请求数据，如缓存中存在数据则直接 ......
自从学习了MongoDB高可用，慢慢的喜欢上了它，之前确实冷落了
大家好，我是哪吒，最近项目在使用MongoDB作为图片和文档的存储数据库，为啥不直接存MySQL里，还要搭个MongoDB集群，麻不麻烦？ 让我们一起，一探究竟，继续学习MongoDB高可用和片键策略，实现快速入门，丰富个人简历，提高面试level，给自己增加一点谈资，秒变面试小达人，BAT不是梦。 ......
Keepalived高可用集群部署
KeepAlived KeepAlived安装 1.yum源安装 yum install keepalived 2.官网源码包编译 KeepAlived官网提供可编译源码包，可直接下载。 官网地址： https://www.keepalived.org/ 官网提供的软件包，解压编译安装即可。 Kee ......
你知道哈希算法，但你知道一致性哈希吗？
前言 假如让你为淘宝这种数据量非常大的公司的设计一个可扩展的数据存储系统，你该如何存储和管理数据呢？总不能放在单个服务器上吧，肯定放不下，必然需要水平扩展。那么这样就带来一个问题，这个数据要存储在哪个服务器上呢？这就引入了本文的主题一致性哈希算法，可能你没听过，那么本文就通过一个简单的例子带你一步一 ......
浅谈服务接口的高可用设计
作为一个后端研发人员，开发服务接口是我正常不过的工作了，这些接口不管是面向前端HTTP或者是供其他服务RPC远程调用的，都绕不开一个共同的话题就是“高可用”，接口开发往往看似简单，但保证高可用这块实现起来却不并没有想想的那么容易，接下来我们就看一下，一个高可用的接口是该考虑哪些内容，同时文中有不足的... ......
【Redis场景2】缓存更新策略(双写一致)
【Redis场景2】缓存更新策略(双写一致)，涉及缓存更新策略，数据库缓存不一致方案，异步重试等；每1~2周学习整理redis中的知识点和场景实现，希望有所输入输出，每天进步一点点。 ......