分布式 黑马 实战redis
应用程序通过 Envoy 代理和 Jaeger 进行分布式追踪（一）
Istio 支持通过 Envoy 代理进行分布式追踪，代理自动为其应用程序生成追踪 span，只需要应用程序转发适当的请求上下文即可。Istio 支持很多追踪系统，包括 Zipkin， Jaeger，Lightstep 和 Datadog，其中 Jaeger 目前已经成为 Istio 默认的分布式追 ......
[系统设计] 分布式系统 (1) 分布式锁 [转载]
在日常开发工作中，我们为了保证资源操作的最终一致性，同样需要用到锁来进行操作控制。本Chat结合自己工作中的经验沉淀，来跟大家一起聊聊 分布式锁的那些事，分享一些实用内容给大家。 # 为什么会出现分布式锁？ 如下图所示，一个应用被部署到多个机器上做负载均衡。为了保证一个方法或属性在高并发情况下的同一 ......
springboot中redis作为缓存使用
### springboot中redis作为缓存使用 #### springboot中的redis作为缓存使用 - application.yaml ```java server: port: 8089 # servlet: # context-path: /demoRedis1 spring: r ......
面试官：Redis 缓存满了怎么办？
> 前几篇文章我们分别详细描述了 - [一文了解 Redis] - [redis 如何保证数据一致性] - [深入解析 Redis 持久化机制] - [Redis 如何解决缓存雪崩、缓存击穿、缓存穿透难题] - [Redis 之分布式锁的实现] 今天我们聊聊 Redis 缓存满了之后怎么办 ## 引 ......
[Redis] Redis (3) Redis JDBC Framework
> 本文主要聚焦于 Redis 的 JAVA 客户端连接框架，针对Redis本身的特性将不做过多介绍。 # 1 Redis JDBC 框架概述 ## 1.1 Redis 简述 + Redis(**Remote Dictionary Server**（远程字典服务）)是一款开源的、由 Salvator ......
Airflow 2.2.6 + MySQL 8.0.27 + Redis 7.0.12 部署Airflow任务调度平台
本 docker-compose 文件在 centos7.9 系统, docker 版本为 24.0.2 上测试的 >如果你的 docker 版本低于 24.xxx 就需要手动安装 docker-compose, 高于 24 就不需要安装了, docker 已经自带了 [官方文档, 关于 docke ......
[Redis]Redis (2) 扩展数据结构: Bitmap
> redis bitmap java springboot # 1 Redis 数据结构之 bitmap ``` shell # 设置bitmap字符串指定位置的值 | SETBIT key offset value setbit singleSquare:recommend:userId:3 9 ......
Redis从入门到放弃（9）：集群模式
前面文章我们介绍了Redis的主从模式是一种在Redis中实现高可用性的方式，但也存在一些缺点。 ## 1、主从模式缺点 * **写入单点故障：**在主从模式中，写入操作只能在主节点进行，如果主节点宕机，写入将无法执行。虽然可以通过升级从节点为主节点来解决，但这会增加故障切换的复杂性。 * **写入 ......
Redis精通系列——LFU算法详述(Least Frequently Used - 最不经常使用)
转： Redis精通系列——LFU算法详述(Least Frequently Used - 最不经常使用) ......
Scrapy: scrapy_redis
1 # 安装 2 pip3 install scrapy_redis 3 # 源码 4 https://github.com/rmax/scrapy-redis.git 5 # 文档 6 https://github.com/rmax/scrapy-redis 7 8 # 配置说明: https:/ ......
深度学习框架 —— 分布式训练
现在深度学习的模型结构越来越大，参数动不动都是上亿甚至上千亿，这也对训练模型的资源量有很高的要求，显然单个机器上要训练这么大的网络是不现实的，因此学术界和工业界自然开始研究用分布式训练。也就是将一个机器学习模型任务拆分成多个子任务，并将子任务分发给多个计算节点，解决资源瓶颈。 # 1. 分布式训练概 ......
数字实战：打造集中式收费系统，助力北控物业营收数字化转型！
收费业务作为物企的支柱性业务，是企业稳健发展的重要保障。但随着物企服务面积不断扩大，所接管的项目数量多、分布区域广、业态多等特征，让物企数据量庞杂等问题愈发凸显，也让物企收费管理工作更加地复杂和困难。为推动收费业务更好地开展，越来越多的物企开启了数字化转型，以满足企业经营所需。 作为极致科技的深度合 ......
【腾讯云 Cloud Studio 实战训练营】基于Cloud Studio构建React完成点餐H5页面
 ### 前言 * 最近也是有机会参与到了腾讯云举 ......
python实战手册（1）
[TOC] # 编码声明 Python 脚本第一或第二行的注释匹配正则表达式 `coding[=:]\s*([-\w.]+)` 时，则该注释为源代码的编码声明；这个表达式的第一组指定了源码文件的编码。 **编码声明必须独占一行，在第二行时，则第一行必须也是注释**。编码表达式的形式如下： ```py ......
redis
```shell docker run --name wltjzbjg_redis -p 7001:6379 -v /root/docker/redis/data:/data -v /root/docker/redis/conf/redis.conf:/etc/redis/redis.conf -d ......
读发布！设计与部署稳定的分布式系统（第2版）笔记29_控制层下
 # 1. 配置服务 ## 1.1. 配置服务本身就是分布式数据库 ### 1.1.1. 像ZooKeeper和et ......
Prometheus完整部署监之控linux系统实战
一、环境部署 拉取镜像 使用命令 docker pull prom/node-exporter 拉取镜像 启动服务 使用命令如下命令启动即可： docker run -d \ -p 9090:9090 \ -v /var/lib/docker/tmp/prometheus/prometheus.ym ......
数仓 Hive HA 介绍与实战操作
[TOC] ## 一、概述 在数据仓库中，`Hive HA（High Availability）` 是指为 `Apache Hive` 这个数据仓库查询和分析工具提供高可用性的架构和解决方案。Hive是建立在Hadoop生态系统之上的一种数据仓库解决方案，用于处理大规模数据的查询和分析。为了确保Hi ......
Redis概念
## 1.数据淘汰策略 -noeviction:返回错误当内存限制达到并且客户端尝试执行会让更多内存被使用的命令(大部分的写入指令，但DEL和几个例外) - allkeys-lru:尝试回收最少使用的键(LRU)， 使得新添加的数据有空间存放。 - volatile-lru:尝试回收最少使用的键(L ......
Redis Pipeline管道技术
### 1.什么是pipeline `Pipeline`是`Redis`提供的一种批量请求机制，可以在client端对多条命令进行打包，然后一次性发送给服务器，避免了多次网络往返的开销。 ### 2.pipeline的优势 为了解释`pipeline`的作用，我们先思考一个问题: 如果客户端需要依次 ......
Pandas实战反馈
1，df.info( ) 与 df.describe( )如果字段太多，使用df.info( )返回结果如下图，如果想查看各字段的情况，需写作df.info( verbose = True ), verbose冗长的； 2，如果想只取文件的某几列，需按如下形式，将待读取的列名放在两个中括号中，如果只 ......
Redis 之分布式锁的实现
## 引言 分布式锁大家应该不陌生，在很多大厂面试的时候，面试官们都很喜欢问这个问题。 我们在系统中修改已有数据时，需要先读取，然后进行修改保存，此时很容易遇到并发问题。由于修改和保存不是原子操作，在并发场景下，部分对数据的操作可能会丢失。在单服务器系统我们常用本地锁来避免并发带来的问题，然而，当服 ......
redis 如何解决缓存雪崩、击穿、穿透难题
## 引言 redis 作为一门热门的缓存技术，引入了缓存层，就会有缓存异常的三个问题，分别是缓存击穿、缓存穿透、缓存雪崩。我们用本篇文章来讲解下如何解决！ ## 缓存击穿 >**缓存击穿**: 指的是缓存中的某个热点数据过期了，但是此时大量的并发请求访问这个key的值，此时因为缓存过期无法从缓存中 ......
深入解析Redis持久化机制
## 引言 我们都知道，Redis 的数据存储在内存中, 一旦服务器宕机，内存中的数据将全部丢失。因此，对 Redis 来说，实现数据的持久化，避免从后端数据库中进行恢复，是至关重要的。本篇我们详细讲解下 Redis 的三种持久化机制，分别是 **AOF（Append Only File）** 日志 ......
k8s实战案例之运行Java单体服务-jenkins
Jenkins通过k8s上的pv/pvc来连接外部存储，通过svc的方式向外暴露服务，在集群内部通过直接访问svc就可以正常访问到jenkins，对于集群外部成员，通过外部负载均衡器来访问Jenkins； ......
awk的经典实战案例
前言 这些案例比较经典，有些比较具有代表性。 1.插入几个新字段 在"a b c d"的b后面插入3个字段e f g。 echo "a b c d" | awk '{$2=$2" e f g";print}' 2.格式化空白 移除每行的前缀、后缀空白，并将各部分左对齐。 aaaa bbb ccc b ......
Git实战指南：从入门到实战手把手教你玩转Git
本文首先介绍了Git的基本概念和工作原理，帮助读者建立起对Git的整体认识。接着，逐步介绍了Git的常用命令和操作，包括创建和克隆仓库、提交和撤销更改、分支管理等。通过实际的示例和详细的解释，读者能够轻松地理解和运用这些命令。 ......
Caddy 入门实战(1)--简介及安装
Caddy 是一款基于 Go 语言编写的强大且可扩展的平台，可以给你的站点、服务和应用程序提供服务。本文主要内容为 Caddy 的简介及安装，文中所使用到的软件版本：Caddy 2.6.4、CentOS 7.9.2009。 1、简介 大多数人将 Caddy 用作 Web 服务器或代理，但 Caddy ......
在分布式nvidia cuda-pytorch中同时使用MPI和NCCL会造成死锁——分布式pytorch的backend不能同时使用MPI和NCCL
参考原文： https://docs.nvidia.com/deeplearning/nccl/user-guide/docs/mpi.html#inter-gpu-communication-with-cuda-aware-mpi 说实话，我不太认为有人在使用分布式pytorch的时候会同时开两个 ......
读发布！设计与部署稳定的分布式系统（第2版）笔记28_控制层上
 # 1. 控制层囊括所有在后台运行的成功处理生产负载的软件和服务 ## 1.1. 处理用户生产数据的那些软件，就 ......