分布式redlock redis core
基于Docker容器搭建hadoop完全分布式集群环境
简介 物理机：windows10 宿主机：Centos7虚拟机，需要安装Docker服务 hadoop集群节点：3个centos7的容器，hadoop1、hadoop2、hadoop3 组件： 容器镜像：Centos7 Docker CE 24.0.7 JDK1.8.0_181 Hadoop3.1. ......
Redis和Springboot在Windows上面设置开机启动的方法
Redis和Springboot在Windows上面设置开机启动的方法 背景 同事遇到一个问题 Windows 晚上自动更新服务 然后第二天 Springboot开发的程序没有启动起来. 所以基于此想创建一个开机启动的服务设置 很早之前自己研究过 Winsw等工具 但是感觉对springboot 比 ......
分布式ID
1.分布式ID 什么是 ID？ 日常开发中，我们需要对系统中的各种数据使用 ID 唯一表示，比如用户 ID 对应且仅对应一个人，商品 ID 对应且仅对应一件商品，订单 ID 对应且仅对应一个订单。 简单来说，ID 就是数据的唯一标识。 什么是分布式 ID？ 分布式 ID 是分布式系统下的 ID。 举 ......
Redis复制
是什么 主从复制，master以写为主，slave以读为主。 当master数据变化的时候，自动将新的数据异步同步到其他slave数据库 能干嘛 读写分离 容灾恢复 数据备份 水平扩容支撑高并发 怎么玩 master如果配置了requirepass参数，需要密码登录，那么slave就要配置maste ......
基于Redis的简易延时队列
基于Redis的简易延时队列 一、背景 在实际的业务场景中，经常会遇到需要延时处理的业务，比如订单超时未支付，需要取消订单，或者是用户注册后，需要在一段时间内激活账号，否则账号失效等等。这些业务场景都可以通过延时队列来实现。 最近在实际业务当中就遇到了这样的一个场景，需要实现一个延时队列，用来处理订 ......
centos7.9 编译安装redis 6.2.6
参考地址：https://zhudo.net/server/linux/149.html 1.下载和安装 下载redis 需要其他版本去官网自行下载 wget -c https://download.redis.io/releases/redis-6.2.6.tar.gz //解压 tar -zvx ......
Ubuntu 2022 安装asp.net core
首先明确，我们不需要安装SDK，而是只安装runtime就够了。 而如果是runtime，则又分为几种情况： 1. ASP.NET Core 运行时 8.0.0 （最终实际安装的） ASP.NET 核心运行时使你能够运行现有的 Web/服务器应用程序。在 Windows 上，我们建议安装托管捆绑包， ......
Caused by: io.lettuce.core.RedisCommandExecutionException: NOAUTH Authentication required.【Springboot 连接 腾讯 redis 认证失败解决】
原文链接 ： https://blog.csdn.net/De_Buffer/article/details/132492287 最终解决方法 虽然通过更换连接客户端为jedis解决了问题，但不符合发展趋势，lettuce已成为主流redis客户端，springboot2官方推荐，因此在这个保底方案 ......
redis stream 消费者组的使用
Redis Streams 是一个支持多生产者和多消费者的数据结构，它以时间顺序保存了一系列的消息。消费者组是 Redis Streams 中一个强大的概念，它使多个消费者能够协同地消费消息。 以下是关于 Redis Stream 消费者组的详细讲解： 1. 创建流 (Stream) 在 Redis ......
Redis报错：(error) DENIED Redis is running in protected mode because protected mode is enabled and no password is set for the default user
一、报错内容 (error) DENIED Redis is running in protected mode because protected mode is enabled and no password is set for the default user. In this mode c ......
.net 温故知新【15】：Asp.Net Core WebAPI 配置
关于Asp.Net Core中的配置实际之前我已经整理过.net 中以json方式进行配置的介绍（.net 温故知新：【8】.NET 中的配置从xml转向json），当时我们说Asp.Net Core也是按照基础方法，只是组织形式的问题，有个封装过程。所以我这里就着重介绍一下Asp.Net Core ......
Redis报错：WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128
报错内容： 1:C 08 Dec 2023 05:47:33.348 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo 1:C 08 Dec 2023 05:47:33.348 # Redis version=7.0.5, bits=64, commit ......
鸿蒙原生应用开发——分布式数据对象
01、什么是分布式数据对象 在可信组网环境下，多个相互组网认证的设备将各自创建的对象加入同一个sessionId，使得加入的多个数据对象之间可以同步数据，也就是说，当某一数据对象属性发生变更时，其他数据对象会检测到这一变更，同时将自身属性更新。此时，该sessionId下的所有数据对象属性相同，这样 ......
.NET使用分布式网络爬虫框架DotnetSpider快速开发爬虫功能
前言 前段时间有同学在微信群里提问，要使用.NET开发一个简单的爬虫功能但是没有做过无从下手。今天给大家推荐一个轻量、灵活、高性能、跨平台的分布式网络爬虫框架（可以帮助 .NET 工程师快速的完成爬虫的开发）：DotnetSpider。 注意：为了自身安全请在国家法律允许范围内开发网络爬虫功能。 框 ......
docker desktop 运行的 mysql、redis连接不上
docker desktop 运行的docker实例不能连接使用 原因：映射的宿主机端口没有写 填上端口号就好了 ......
分布式系统-异步
异步，是分布式系统重要的设计原则之一。 为什么异步很重要呢？ 试想一个场景，在电商业务中，用户下单并支付成功后，需要给店家推送一个消息，告诉店家来订单了，抓紧发货。 这个推送功能，如果和支付回调接口做成同步，会有什么问题呢？ 要知道，系统总是不可能绝对稳定的。如果推送接口异常或者超时了，主流程就会受 ......
分布式系统-负载均衡
分布式系统中，业务系统都是集群部署，而且一般会做微服务化。那么，从一个系统rpc请求到另一个系统，应该路由到哪一台节点呢？这，就涉及到负载均衡。 负载均衡的核心，便是负载均衡算法，算法有很多，主要介绍其中六种，并说一说各自算法的优缺点。 1. 加权随机 加权随机，顾名思义，就是路由到哪一台节点，是通 ......
分布式资源调度框架YARN
1、YARN=Yet Another Resource Negotiator 2、主从架构，一主多从3、主=ResourceManager,从=NodeManager4、ResourceManager由ApplicationManager和ResourceScheduler组成5、NodeManag ......
redis分布式锁实现原理
在.net core 中，可以使用StackExchange.Redis实现redis分布式锁， /// <summary>/// 分布式锁/// </summary>/// <param name="Redis">RedisDB</param>/// <param name="Key">锁标识</ ......
redis集群双活-数据迁移
一、redis双活 1、集群搭建 （一主两从） Redis-Sentinel是redis官方推荐的高可用性解决方案，sentinel哨兵是特殊的redis服务，不提供读写服务，主要用来监控redis实例节点，当用redis作master-slave的高可用时，如果master本身宕机，redis本身 ......
分布式系统的困难点
分布式系统在技术上需要注意的问题 问题1：异构系统的不标准问题 问题2：系统架构中的服务依赖性问题 问题3：故障发生的概率更大 问题4：多层架构的运维复杂度更大 ......
.net core DataTable.Load()方法，返回的行缺少，少于reader读出的行
我分析的原因是，datatable模式的schema默认是根据查询的sql来的。起因是我写的sql中带有主键的列，查出来有很多重复值， 然后dt.load会默认把主键重复的行给合并掉，所以最终查询出来的都是主键不重复的数据行，重复的行都被合并掉了，所以就缺失了。 另外，dt.load有个重载版本，我 ......
2台机器安装Redis主从
2台机器安装Redis主从 1. 配置redis.conf（主） bind 127.0.0.1 #注释掉 protected-mode no #关闭保护模式 daemonize yes #开启后台守护进程 logfile "/var/log/redis/redis.log" #日志文件路径 2.配置 ......
Windows 下部署Redis 主从模式+哨兵模式+JAVA连接方式
原文：Windows 下部署Redis 主从模式+哨兵模式+JAVA连接方式_java redis部署-CSDN博客 前言之前项目需求部署redis高可用，走了很多弯路以及相关配置来回折腾浪费了很多时间，特地记录下。 主从模式：实现多台redis实例进行服务运行，并且数据相互同步；哨兵模式：实现主服 ......
.NET Core 依赖注入生命周期
在.NET Core中，依赖注入服务的生命周期是指服务实例的寿命范围，即在整个应用程序的生命周期内，服务实例何时被创建、何时被销毁。在.NET Core中，有以下几种主要的依赖注入服务生命周期： 瞬时（Transient）生命周期： 服务以每次请求为一次性创建。每次使用 GetService 方法时 ......
redis
简介： Redis（Remote Dictionary Server）是一个开源的高性能键值存储系统，它支持多种数据结构，包括字符串（String）、哈希（Hash）、列表（List）、集合（Set）和有序集合（Sorted Set）等。Redis以内存中的数据结构来存储数据，并通过持久化机制将数据 ......
分布式事务-Seata解决方案
一、定义 Seata解决方案是分布式事务解决方案之一。常用的分布式事务解决方案有：2PC,3PC,TCC,SAGA(seata)、本地消息表、MQ消息事务、最大努力通知。 Seata是一款分布式解决方案，致力于提供高性能和简单易用的分布式事务服务。提供事务模式有：AT,TCC,SAGA,XA。其中A ......
Redis发布订阅
是什么 是一种消息通信模式：发送者(PUBLISH)发送消息，订阅者(SUBSCRIBE)接收消息，可以实现进程间的消息传递。 Redis可以实现中间件的MQ功能，通过发布订阅实现消息的引导和分流。 能干嘛 Redis客户端可以订阅任意数量的频道，类似我们微信关注多个公众号。 当有新消息通过PUBL ......
分布式主键
核心概念 :: ShardingSphere https://shardingsphere.apache.org/document/current/cn/features/sharding/concept/ 分布式主键 传统数据库软件开发中，主键自动生成技术是基本需求。而各个数据库对于该需求也提供了 ......
Using Redis with FastAPI
Using Redis with FastAPI https://developer.redis.com/develop/python/fastapi/ https://github.com/fanqingsong/fastapi-redis-tutorial FastAPI is a Python ......