分布式 脚本redis setnx
一图看懂Hadoop中的MapReduce与Spark的区别：从单机数据系统到分布式数据系统经历了哪些?
今日博主思考了一个问题：Hadoop中的MapReduce与Spark他们之间到底有什么关系？ 直到我看到了下面这张图 废话不多说先上图👇 我们知道，单机数据系统，在本地主机上针对数据有单机本地存储操作（localFS）和单机计算操作（SQL） 这是在数据量比较小方便在一台主机就完成任务的情况。 ......
使用python脚本传递参数：（三种方式可收藏）
背景：使用python脚本传递参数在实际工作过程中还是比较常用，以下提供了好几种的实现方式： 一、使用sys.argv的数组传入说明：使用sys.argv必须按照先后的顺序传入对应的参数；sys.argv则封装了传入的参数数据，作为数组的方式已经传入 import sys print("传入参数的总 ......
redisson分布式锁原理剖析
redisson分布式锁原理剖析 相信使用过redis的，或者正在做分布式开发的童鞋都知道redisson组件，它的功能很多，但我们使用最频繁的应该还是它的分布式锁功能，少量的代码，却实现了加锁、锁续命(看门狗)、锁订阅、解锁、锁等待（自旋）等功能，我们来看看都是如何实现的。 加锁 //获取锁对 ......
iNeuOS工业互联网操作系统，脚本化实现设备运行时长和效率计算与统计
有一个煤矿项目，使用iNeuOS系统时有一个需要是：要统计设备的运行时长，进一步统计设备运行效率。主要是有效分析设备运行状态，合理的进行节能。iNeuOS本身具备强大的脚本能力，需要现场实施人员有一定脚本编写能力，如果不具备脚本编写能力，那么下面的模板修改相应的参数即可。 ......
面试官：介绍一下 Redis 三种集群模式
小码今天去面试。 面试官：给我介绍一下Redis集群， 小码：啊，平时开发用的都是单机Redis，没怎么用过集群了。 面试官：好的，出门右转不谢。 小码内心困惑：在小公司业务量也不大，单机的 Redis 完全够用，也不会发生宕机问题啊。面试要问到 Redis 集群该怎么办呢？ Redis 为何要有集 ......
通过Shell脚本自动安装Hive&JDBC测试&提供CDH5网盘地址
〇、参考地址 1、Linux下编写脚本自动安装hive https://blog.csdn.net/weixin_44911081/article/details/121227024?ops_request_misc=%257B%2522request%255Fid%2522%253A%252216 ......
详解 Redis 中 big keys 发现和解决
在使用 Redis 时，可能会出现请求响应慢、网络卡顿、数据丢失的情况。排查问题的时候，发现是 big keys 的问题。 什么是 big keys 在 Redis 中，一个字符串类型最大可以达到 512MB,其他非字符串类型的集合类型（list、set、hash、zset等）可以存储 40 亿个( ......
如何使用zx编写shell脚本
前言 在这篇文章中，我们将学习谷歌的zx库提供了什么，以及我们如何使用它来用Node.js编写shell脚本。然后，我们将学习如何通过构建一个命令行工具来使用zx的功能，帮助我们为新的Node.js项目引导配置。 编写Shell脚本的问题 创建一个由Bash或者zsh执行的shell脚本，是自动化重 ......
Flink同步Kafka数据到ClickHouse分布式表
公众号文章都在个人博客网站：https://www.ikeguang.com/ 同步，欢迎访问。 业务需要一种OLAP引擎，可以做到实时写入存储和查询计算功能，提供高效、稳健的实时数据服务，最终决定ClickHouse。 什么是ClickHouse？ ClickHouse是一个用于联机分析(OLAP ......
redis的持久化
redis是一种基于内存的非关系型数据库，内存虽然快但是数据也更易丢失，所以redis提供了两种持久化方式，分别是RDB和AOF，今天就介绍下这两种持久化方式以及原理 一、RDB 1、介绍 rdb是一种快照式的存储也是redis默认的持久化策略，它将内存中的数据持久化到磁盘中且能做到不影响redis ......
Springboot 整合 SpringCache 使用 Redis 作为缓存
一直以来对缓存都是一知半解，从没有正经的接触并使用一次，今天腾出时间研究一下缓存技术，开发环境为OpenJDK17与SpringBoot2.7.5 源代码下载地址：https://hanzhe.lanzoue.com/iK4AF0hjl3lc SpringCache基础概念 接口介绍 首先看看Spr ......
redis集群之主从复制集群的原理和部署
最近在复盘redis的知识，所以本文开始希望介绍下redis的集群架构、原理以及部署；本文主要介绍redis的主从复制集群，包括其架构模型，原理，高可用等； 一、主从集群的介绍 redis的主从复制集群为了提高效率降低客户端等待时长，主从间的数据同步采用的是弱一致性的策略，即客户端请求发到主机后，不 ......
【性能优化】单一接口优化过程全记录（主要涉及Redis）
接口优化过程记录 问题背景 某个接口耗时长（247ms），但里面逻辑不算复杂，只进行了简单的对象引用以及操作了多次Redis 步骤1：链路追踪，确定业务耗时点 接口里通过链路追踪以及日志查询发现主要是操作Redis的这条链路耗时变长 步骤2：从Redis找问题，列出可能点 原因可能是： Redis本 ......
redis集群之分片集群的原理和常用代理环境部署
上篇文章刚刚介绍完redis的主从复制集群，但主从复制集群主要是为了解决redis集群的单点故障问题，通过整合哨兵能实现集群的高可用；但是却无法解决数据容量以及单节点的压力问题，所以本文继续介绍redis的分片集群；分片集群即将不同的数据分发到不同的redis实例(或者主从集群)，每个redis实例 ......
.NET 6 基于IDistributedCache实现Redis与MemoryCache的缓存帮助类
本文通过IDistributedCache的接口方法，实现Redis与MemoryCache统一帮助类。只需要在配置文件中简单的配置一下，就可以实现Redis与MemoryCache的切换。 (目录) IDistributedCache IDistributedCache 方法： |方法|说明 | ......