分布式 架构redis
分布式事务
什么是分布式事务？ 对于分布式系统而言，需要保证分布式系统中的数据一致性，保证数据在子系统中始终保持一致，避免业务出现问题。 简单的说，在分布式系统上，一次大的操作由不同的小操作组成，这些小的操作分布在不同的服务节点上，且属于不同的应用，分布式事务需要保证这些小操作要么全部成功，要么全部失败。 举个 ......
分布式锁
为什么需要分布式锁？ 在多线程环境中，如果多个线程同时访问共享资源（例如商品库存、外卖订单），会发生数据竞争，可能会导致出现脏数据或者系统问题，威胁到程序的正常运行。我们需要使用互斥操作对共享资源进行保护，即同一时刻只允许一个线程访问共享资源，其他线程需要等待当前线程释放后才能访问。这样可以避免数据 ......
Redis哨兵
是什么 吹哨人巡查监控后台master主机是否故障，如果故障了根据投票数自动将某一个从库转为新主库，继续对外服务 能干嘛 主从监控：监控主从Redis库运行是否正常 消息通知：哨兵可以将故障转移的结果发送给客户端 故障转移：如果Master异常，则会进行主从切换，将其中一个Slave作为新Maste ......
Redis的数据类型以及使用场景，看这一篇就够啦
Redis的数据类型以及使用场景，看这一篇就够啦 原创2021-06-20 18:02·猿视野 Redis 数据类型 string String hash HashMap list LinkedList set HashSet sorted_set TreeSet redis 数据存储格式 redi ......
基于Docker容器搭建hadoop完全分布式集群环境
简介 物理机：windows10 宿主机：Centos7虚拟机，需要安装Docker服务 hadoop集群节点：3个centos7的容器，hadoop1、hadoop2、hadoop3 组件： 容器镜像：Centos7 Docker CE 24.0.7 JDK1.8.0_181 Hadoop3.1. ......
Redis和Springboot在Windows上面设置开机启动的方法
Redis和Springboot在Windows上面设置开机启动的方法 背景 同事遇到一个问题 Windows 晚上自动更新服务 然后第二天 Springboot开发的程序没有启动起来. 所以基于此想创建一个开机启动的服务设置 很早之前自己研究过 Winsw等工具 但是感觉对springboot 比 ......
分布式ID
1.分布式ID 什么是 ID？ 日常开发中，我们需要对系统中的各种数据使用 ID 唯一表示，比如用户 ID 对应且仅对应一个人，商品 ID 对应且仅对应一件商品，订单 ID 对应且仅对应一个订单。 简单来说，ID 就是数据的唯一标识。 什么是分布式 ID？ 分布式 ID 是分布式系统下的 ID。 举 ......
【SpringBootWeb入门-8】分层解耦-三层架构
1、架构前言 在讲解三层架构之前，我们先来看一段Controller代码段，代码如下： package com.hiker.controller; import com.hiker.pojo.Emp; import com.hiker.pojo.Result; import com.hiker.ut ......
Redis复制
是什么 主从复制，master以写为主，slave以读为主。 当master数据变化的时候，自动将新的数据异步同步到其他slave数据库 能干嘛 读写分离 容灾恢复 数据备份 水平扩容支撑高并发 怎么玩 master如果配置了requirepass参数，需要密码登录，那么slave就要配置maste ......
基于Redis的简易延时队列
基于Redis的简易延时队列 一、背景 在实际的业务场景中，经常会遇到需要延时处理的业务，比如订单超时未支付，需要取消订单，或者是用户注册后，需要在一段时间内激活账号，否则账号失效等等。这些业务场景都可以通过延时队列来实现。 最近在实际业务当中就遇到了这样的一个场景，需要实现一个延时队列，用来处理订 ......
centos7.9 编译安装redis 6.2.6
参考地址：https://zhudo.net/server/linux/149.html 1.下载和安装 下载redis 需要其他版本去官网自行下载 wget -c https://download.redis.io/releases/redis-6.2.6.tar.gz //解压 tar -zvx ......
电商领域 Flash Sale 的设计架构
电商领域的抢购活动（Flash Sale）：定义、实施和案例研究 1. 电商平台应用架构师视角下的Flash Sale介绍 电商领域的Flash Sale，又称限时抢购，是一种通过在短时间内提供折扣优惠、限量商品或独特优势来激发购买欲望、增加销售的营销策略。这一策略旨在创造紧迫感和独特性，通过限时和 ......
Caused by: io.lettuce.core.RedisCommandExecutionException: NOAUTH Authentication required.【Springboot 连接 腾讯 redis 认证失败解决】
原文链接 ： https://blog.csdn.net/De_Buffer/article/details/132492287 最终解决方法 虽然通过更换连接客户端为jedis解决了问题，但不符合发展趋势，lettuce已成为主流redis客户端，springboot2官方推荐，因此在这个保底方案 ......
ELK的架构与原理
小白也能学的日志收集系统ELK 原创 对抗一下 步步运维步步坑 2023-11-27 11:46 发表于四川 收录于合集 #中间件4个 #运维技术11个 介绍 ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称(但是后期出现的filebeat(beats中的 ......
redis stream 消费者组的使用
Redis Streams 是一个支持多生产者和多消费者的数据结构，它以时间顺序保存了一系列的消息。消费者组是 Redis Streams 中一个强大的概念，它使多个消费者能够协同地消费消息。 以下是关于 Redis Stream 消费者组的详细讲解： 1. 创建流 (Stream) 在 Redis ......
Redis报错：(error) DENIED Redis is running in protected mode because protected mode is enabled and no password is set for the default user
一、报错内容 (error) DENIED Redis is running in protected mode because protected mode is enabled and no password is set for the default user. In this mode c ......
Redis报错：WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128
报错内容： 1:C 08 Dec 2023 05:47:33.348 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo 1:C 08 Dec 2023 05:47:33.348 # Redis version=7.0.5, bits=64, commit ......
脚手架架构设计和框架搭建
站在前端研发的角度，分析开发脚手架的必要性 脚手架核心价值是将研发过程 自动化：项目重复代码拷贝/git操作/发布上线操作 标准化：项目创建/git flow/发布流程/回滚流程 数据化：研发过程数据化、系统化，使得研发过程可量化 自研脚手架和自动化构建工具的区别 市面上已经有了如Jenkins,t ......
邀请函 | 合作发展，赋能增效--新架构下汽车电子软件研发技术研讨会
会议介绍 随着汽车智能化、网联化快速演进，“软件定义汽车、架构定义软件”愈发形成行业共识。汽车上的软件应用在提升用户体验、推动行业技术创新方面发挥着至关重要的作用。 在此背景下，如何有效地提升软件开发效率、更好地管理软件质量、满足行业安全标准要求，从而为软件开发和管理团队赋能，赢得智能网联汽车竞争的 ......
iPaaS架构深入探讨
在数字化时代全面来临之际，企业正面临着前所未有的挑战与机遇。技术的迅猛发展与数字化转型正在彻底颠覆各行各业的格局，不断推动着企业迈向新的前程。然而，这一数字化时代亦衍生出一系列复杂而深奥的难题：各异系统之间数据孤岛、应用融合的交互难关、业务流程的柔性困境等等。在这复杂的背景下，企业必须毅然采取深具洞 ......
PAVELINK.SOA-Converter新版本发布，助力SOA架构开发
背景 随着汽车行业的不断迭代发展，市场及消费者对汽车提出了更高的要求，智能网联、自动驾驶等新技术的应用推动整车厂对车载芯片、汽车软件等方面投入了更多的精力，SOA（面向服务的架构）逐渐成为大多整车厂顺应市场趋势和技术趋势的首选。SOA架构使服务间的通讯变得更加简单，ECU更新、软件升级等变得更加灵活 ......
鸿蒙原生应用开发——分布式数据对象
01、什么是分布式数据对象 在可信组网环境下，多个相互组网认证的设备将各自创建的对象加入同一个sessionId，使得加入的多个数据对象之间可以同步数据，也就是说，当某一数据对象属性发生变更时，其他数据对象会检测到这一变更，同时将自身属性更新。此时，该sessionId下的所有数据对象属性相同，这样 ......
.NET使用分布式网络爬虫框架DotnetSpider快速开发爬虫功能
前言 前段时间有同学在微信群里提问，要使用.NET开发一个简单的爬虫功能但是没有做过无从下手。今天给大家推荐一个轻量、灵活、高性能、跨平台的分布式网络爬虫框架（可以帮助 .NET 工程师快速的完成爬虫的开发）：DotnetSpider。 注意：为了自身安全请在国家法律允许范围内开发网络爬虫功能。 框 ......
docker desktop 运行的 mysql、redis连接不上
docker desktop 运行的docker实例不能连接使用 原因：映射的宿主机端口没有写 填上端口号就好了 ......
分布式系统-异步
异步，是分布式系统重要的设计原则之一。 为什么异步很重要呢？ 试想一个场景，在电商业务中，用户下单并支付成功后，需要给店家推送一个消息，告诉店家来订单了，抓紧发货。 这个推送功能，如果和支付回调接口做成同步，会有什么问题呢？ 要知道，系统总是不可能绝对稳定的。如果推送接口异常或者超时了，主流程就会受 ......
分布式系统-负载均衡
分布式系统中，业务系统都是集群部署，而且一般会做微服务化。那么，从一个系统rpc请求到另一个系统，应该路由到哪一台节点呢？这，就涉及到负载均衡。 负载均衡的核心，便是负载均衡算法，算法有很多，主要介绍其中六种，并说一说各自算法的优缺点。 1. 加权随机 加权随机，顾名思义，就是路由到哪一台节点，是通 ......
计算机网络中的通信子网：架构、协议与技术简介
在计算机网络中，通信子网是负责实现主机之间以及主机与终端之间数据传输的核心部分。它由一系列硬件设备和通信协议组成，为上层应用提供可靠、高效和透明的数据传输服务。本文将详细介绍通信子网的架构、协议与技术。 一、通信子网的架构 星型拓扑 星型拓扑结构是最常见的网络拓扑之一。在星型拓扑中，所有主机通过连接 ......
分布式资源调度框架YARN
1、YARN=Yet Another Resource Negotiator 2、主从架构，一主多从3、主=ResourceManager,从=NodeManager4、ResourceManager由ApplicationManager和ResourceScheduler组成5、NodeManag ......
架构的范畴：架构与架构师
软件是一个复杂的东西，可以分为技术复杂度，业务复杂度以及管理的复杂度。 我们去处理所有的问题，不管是作为架构师，还是作为一个业务专家，还是作为一个项目管理的团队管理人员或技术管理人员。你就是要把一个很大的很复杂的这样的一个技术问题，拆成单纯问题和两难问题题，以及更小的技术问题再继续拆，把这些问题解决 ......
redis分布式锁实现原理
在.net core 中，可以使用StackExchange.Redis实现redis分布式锁， /// <summary>/// 分布式锁/// </summary>/// <param name="Redis">RedisDB</param>/// <param name="Key">锁标识</ ......