分布式 指南redis
分布式协议与算法-Raft算法
本文总结自：极客时间韩健老师的分布式协议与算法实战课程。 大家都知道，Raft算法属于Multi-Paxos算法，它是在Multi-Paxos思想的基础上，做了一些简化和限制。关于Paxos算法，博主在之前的文章有过总结，大家可以从这里跳转：分布式协议与算法-Paxos算法 关于Raft算法相关的开 ......
Redis缓存的主要异常及解决方案
作者：京东物流 陈昌浩 1 导读 Redis 是当前最流行的 NoSQL数据库。Redis主要用来做缓存使用，在提高数据查询效率、保护数据库等方面起到了关键性的作用，很大程度上提高系统的性能。当然在使用过程中，也会出现一些异常情景，导致Redis失去缓存作用。 2 异常类型 异常主要有 缓存雪崩 缓 ......
Redis之key的淘汰策略
淘汰策略概述 redis作为缓存使用时，在添加新数据的同时自动清理旧的数据。这种行为在开发者社区众所周知，也是流行的memcached系统的默认行为。 redis中使用的LRU淘汰算法是一种近似LRU的算法。 淘汰策略 针对淘汰策略，redis有一下几种配置方案： 1、noeviction：当触发内 ......
用Java写一个分布式缓存——缓存管理
之前也用过一些缓存中间件，框架，也想着自己是不是也能用Java写一个出来，于是就有了这个想法，打算在写的过程中同步进行总结
源码：https://github.com/weloe/Java-Distributed-Cache ......
用Java写一个分布式缓存——缓存淘汰算法
前言 之前也用过一些缓存中间件，框架，也想着自己是不是也能用Java写一个出来，于是就有了这个想法，打算在写的过程中同步进行总结。 源码：weloe/Java-Distributed-Cache (github.com) 本篇代码： Java-Distributed-Cache/src/main/j ......
面对集中式缓存实现上的挑战，Redis交出的是何种答卷？聊聊Redis在分布式方面的能力设计
对于一个集中式缓存的分布式能力构建，必须要额外提供一些机制，来保障数据在各个节点上的安全与一致性。本文以Redis为代表，看下集Redis面对上述问题交出的是怎样一份答卷。 ......
Redis缓存何以一枝独秀？(2) —— 聊聊Redis的数据过期、数据淘汰以及数据持久化的实现机制
Redis作为一个非关系型数据库，由于其超高的并发处理性能，及其对缓存场景所提供的系列能力构建，使其成为了集中缓存的绝佳选择。本篇我们聊聊Redis数据管理的能力，如数据过期、数据淘汰、数据持久化等。 ......
Redis缓存何以一枝独秀？——从百变应用场景与热门面试题中感受下Redis的核心特性与使用注意点
在分布式盛行的今天，本地缓存明显无法满足分布式场景的缓存诉求。作为应对之法，集中式缓存被广泛的使用在各中分布式系统中，而使用最广泛的莫过于大家耳熟能详的Redis了，本篇开始聊一聊Redis相关的内容。 ......
.NetCore下基于FreeRedis实现的Redis6.0客户端缓存之缓存键条件优雅过滤
前言 众所周知内存缓存(MemoryCache)数据是从内存中获取，性能表现上是最优的，但是内存缓存有一个缺点就是不支持分布式，数据在各个部署节点上各存一份，每份缓存的过期时间不一致，会导致幻读等各种问题，所以我们实现分布式缓存通常会用上Redis 但如果在高并发的情况下读取Redis的缓存，会进行 ......
探讨下如何更好的使用缓存 —— Redis缓存的特殊用法以及与本地缓存一起构建多级缓存的实现
本篇文章，我们就一起聊一聊如何来更好的使用缓存，探寻下如何降低缓存交互过程的性能损耗、如何压缩缓存的存储空间占用、如何保证多个操作命令原子性等问题的解决策略，让缓存在项目中可以发挥出更佳的效果。 ......
使用Logstash工具导入sqlserver数据到elasticSearch及elk分布式日志中心
首先记下这个笔记，Logstash工具导入sqlserver数据到elasticSearch。 因为logstash使用java写的，我本地开发是win11，所以javade jdk必须要安装。具体安装不介绍了，就是网上下个java8，不要去官网要账号什么的,不是java开发不太折腾，目前只用jav ......
Serilog日志同步到redis中和自定义Enricher来增加额外的记录信息
Serilog 日志同步到redis队列中 后续可以通过队列同步到数据库、腾讯阿里等日志组件中，这里redis库用的新生命团队的NewLife.Redis组件 可以实现轻量级消息队列（轻量级消息队列RedisQueue (newlifex.com)），也可以自行替换熟悉的组件 类库目录 该类库需添加 ......
【Redis技术专区】「优化案例」谈谈使用Redis慢查询日志以及Redis慢查询分析指南
前提介绍 本篇文章主要介绍了Redis的执行的慢查询的功能的查询和配置功能，从而可以方便我们在实际工作中，进行分析Redis的性能运行状况以及对应的优化Redis性能的佐证和指标因素。 在我们5.0左右的版本中Redis使用单线程架构和I/O多路复用模型来实现高性能的内存数据服务。接下来主要分析Re ......
【Redis实战专题】「性能监控系列」全方位探索Redis的性能监控以及优化指南
Redis基本简介 Redis是一个开源（BSD 许可）、内存存储的数据结构服务器，可用作数据库，高速缓存和消息队列代理。它支持字符串、哈希表、列表、集合、有序集合等数据类型。内置复制、Lua 脚本、LRU收回、事务以及不同级别磁盘持久化功能，同时通过 Redis Sentinel 提供高可用，通过 ......
【深入浅出Seata原理及实战】「入门基础专题」探索Seata服务的AT模式下的分布式开发实战指南（2）
承接上文 上一篇文章说到了Seata 为用户提供了 AT、TCC、SAGA 和 XA 事务模式，为用户打造一站式的分布式解决方案。那么接下来我们将要针对于AT模式下进行分布式事务开发的原理进行介绍以及实战。 Seata AT模式 在AT、TCC、SAGA 和 XA 这四种事务模式中使用最多，最方便的 ......
【Redis 技术探索】「数据迁移实战」手把手教你如何实现在线 + 离线模式进行迁移Redis数据实战指南（离线同步数据）
离线迁移 与在线迁移相比，离线迁移适宜于源实例与目标实例的网络无法连通的场景，或者源端实例部署在其他云厂商Redis服务中，无法实现在线迁移。 存在的问题 由于生产环境的各种原因，我们需要对现有服务器进行迁移，包括线上正在运行的redis集群环境 如何去做? 涉及到数据源变动，原有数据如何平滑迁移到 ......
【Redis 技术探索】「数据迁移实战」手把手教你如何实现在线 + 离线模式进行迁移 Redis 数据实战指南（scan模式迁移）
在线数据迁移方式 对于大多数场景下的Redis的数据迁移，还是比较推荐大家参考我之前的前两篇文章。 【Redis 技术探索】「数据迁移实战」手把手教你如何实现在线 + 离线模式进行迁移 Redis 数据实战指南（在线同步数据） 【Redis 技术探索】「数据迁移实战」手把手教你如何实现在线 + 离线 ......
【Java应用服务体系】「序章入门」全方位盘点和总结调优技术专题指南
专题⽬标 本系列专题的目标是希望可以帮助读者们系统和全访问掌握应⽤系统调优的思路与方案以及相关的调优工具的使用，虽然未必会覆盖目前的所有的问题场景，但是还是提供了较为丰富的案例和调优理论，会帮助大家打开思维去⽀撑系统服务体系优化能力。 适合人员 Java相关的开发人员、系统架构师、数据库DB人员以及 ......
【深入浅出Seata原理及实战】「入门基础专题」带你透析认识Seata分布式事务服务的原理和流程（1）
分布式事务的背景 随着业务的不断发展，单体架构已经无法满足我们的需求，分布式微服务架构逐渐成为大型互联网平台的首选，但所有使用分布式微服务架构的应用都必须面临一个十分棘手的问题，那就是“分布式事务”问题。 在分布式微服务架构中，几乎所有业务操作都需要多个服务协作才能完成。对于其中的某个服务而言，它的 ......
精华推荐 | 【JVM深层系列】「GC底层调优系列」一文带你彻底加强夯实底层原理之GC垃圾回收技术的分析指南（GC原理透析）
前提介绍 很多小伙伴，都跟我反馈，说自己总是对JVM这一块的学习和认识不够扎实也不够成熟，因为JVM的一些特性以及运作机制总是混淆以及不确定，导致面试和工作实战中出现了很多的纰漏和短板，解决广大小伙伴痛点，我写了本篇文章，希望可以帮助大家夯实基础和锻造JVM技术功底。 什么是垃圾收集（GC) 在JV ......
【SpringBoot实战专题】「开发实战系列」从零开始教你舒服的使用RedisTemplate操作Redis数据
SpringBoot快速操作Redis数据 在SpringBoot框架中提供了spring-boot-starter-data-redis的依赖组件进行操作Redis服务，当引入了该组件之后，只需要配置Redis的配置即可进行链接Redis服务并且进行操作Redis服务数据。 针对于不同的版本有了不 ......
【SpringBoot实战专题】「开发实战系列」从零开始教你舒服的使用RedisTemplate操作Redis数据
SpringBoot快速操作Redis数据 在SpringBoot框架中提供了spring-boot-starter-data-redis的依赖组件进行操作Redis服务，当引入了该组件之后，只需要配置Redis的配置即可进行链接Redis服务并且进行操作Redis服务数据。 针对于不同的版本有了不 ......
【分布式技术专题】「LVS负载均衡」全面透析Web基础架构负载均衡LVS机制的原理分析指南
前提概要 在大规模互联网应用中，负载均衡设备是必不可少的组成部分，源于互联网应用的高并 发和大流量的冲击压力场景下，通常会在服务端部署多个无状态的应用服务器和若干有状态的存储服务器（数据库、缓存等等）实现高可用特点和机制。 LVS的介绍说明 官方站点：http://www.linuxvirtuals ......
【Redis技术探索】「数据迁移实战」手把手教你如何实现在线+离线模式进行迁移Redis数据实战指南（在线同步数据）
从实战出发使用RedisShake进行Redis数据在线+离线模式迁移指南 RedisShake基本介绍 RedisShake是基于redis-port基础上进行改进的是一款开源的Redis迁移工具，支持Cluster集群的在线迁移与离线迁移（备份文件导入）。数据可平滑迁移，当部署在其他云厂商Red ......
Redis+Hbase+RocketMQ 实际使用问题案例分享
##需求 将Hbase数据，解析后推送到RocketMQ。 redis使用list数据类型，存储了需要推送的数据的RowKey及表名。 简单画个流程图就是： ##分析及确定方案 Redis 明确list中元素结构{"rowkey":rowkey,"table":table}解析出rowkey； 一次 ......
1.5万字总结 Redis 常见面试题&知识点
以下内容来源于于我开源的 JavaGuide （Java学习&&面试指南，Github 130k star,370人共同参与爱完善）, 万字总结，质量有保障！ 这篇文章最早写于2019年，经过不断完善，内容也更全面了，里面的很多内容也被很多人参考借鉴。 Redis 基础 什么是 Redis？ Red ......
Kubernetes 部署 - DevOps CI/CD详细指南
什么是Kubernetes部署？ 在此文章中，我们将探索Kubernetes(K8s)，结合DigitalOcean Kubernetes集群与Buddy自动化运维系统部署以达到以下列出的目标： 使用一个K8s示例应用通过Buddy流水线操作构建Docker镜像并推送至Docker Hub注册中心 ......
3xx HTTP状态码的终极指南
前言 如果你在管理一些网站，那么对HTTP重定向的理解对于可靠的网站性能至关重要。在这篇文章中，我们将全面了解一下3xx HTTP状态码，从这里你可以了解它们是如何工作的，如何更好地管理它们，以及它们对SEO的影响。 HTTP重定向的目的 URL重定向涉及到一个网页地址被映射到另一个。网站需要重定向 ......
聊聊分布式缓存
缓存作为磁盘以外的一种存储数据的方式，它有着比磁盘更快的存取效率，因此，可以有效提高系统的性能。在单体系统中，一般会用到本地缓存。但在分布式系统中，本地缓存就显得不够用了，这时往往要用到分布式缓存。 分布式缓存特性 本地缓存因为就在应用系统进程的内存里面，不需要网络和对象拷贝的开销所以性能非常高，不 ......
分布式协议与算法-Paxos算法
本文总结自：极客时间韩健老师的分布式协议与算法实战课程。 为什么要学习Paxos算法？其实关于这个问题的答案，每个人有不同的看法。其实对我来说，我认为当前很多常用的共识算法都是基于它改进，我学习它的初衷也是为了更好的去理解Raft算法。如果你想深入理解RAFT算法，博主在这里推荐蚂蚁金服的SOFAJ ......