分布式 黑马 实战redis
【Redis场景5】集群秒杀优化-分布式锁
集群环境下的秒杀问题 前序 【Redis场景1】用户登录注册 【Redis场景2】缓存更新策略(双写一致) 【Redis场景3】缓存穿透、击穿问题 【Redis场景拓展】秒杀问题-全局唯一ID生成策略 【Redis场景4】单机环境下秒杀问题 在单机环境下的并发问题，我们可以使用相关锁来解决；但是在集 ......
Zip Slip漏洞审计实战
前言 最近看到许少的推有说到Zip Slip这个漏洞导致的RCE，其实我在代码审计的时候确实发现有不少功能模块都是使用ZIP来解压，其实还是在真实系统中经常见到的。 于是想着好久没有写过博客了，想借着这次机会更新一下吧，免得读者以为我在偷懒没学习了~ Zip Slip是什么漏洞 Zip Slip是一 ......
推荐系统[八]算法实践总结V2：排序学习框架(特征提取标签获取方式)以及京东推荐算法精排技术实战
0.前言 「排序学习（Learning to Rank，LTR）」，也称「机器排序学习（Machine-learned Ranking，MLR)」 ，就是使用机器学习的技术解决排序问题。自从机器学习的思想逐步渗透到信息检索等领域之后，如何利用机器学习来提升信息检索的性能水平变成了近些年来非常热门的研 ......
Solon2 分布式事件总线的技术价值？
分布式事件总线在分布式开发（或微服务开发）时，是极为重要的架构手段。它可以分解响应时长，可以削峰，可以做最终一致性的分布式事务，可以做业务水平扩展。 ......
Masa Framework源码解读-02缓存模块（分布式缓存进阶之多级缓存）
序言 今天这篇文章来看看Masa Framework的缓存设计，上一篇文章中说到的MasaFactory的应用也会在这章节出现。文章中如有错误之处还请指点，咱们话不多说，直入主题。 Masa Framework缓存简介 MASA Framework源码地址：https://github.com/ ......
ASP.NET Core使用filter和redis实现接口防重
背景 日常开发中，经常需要对一些响应不是很快的关键业务接口增加防重功能，即短时间内收到的多个相同的请求，只处理一个，其余不处理，避免产生脏数据。这和幂等性（idempotency）稍微有点区别，幂等性要求的是对重复请求有相同的效果和结果，通常需要在接口内部执行业务操作前检查状态；而防重可以认为是一个 ......
看完这一篇，ShardingSphere-jdbc 实战再也不怕了
谈到分库分表中间件时，我们自然而然的会想到 ShardingSphere-JDBC 。 这篇文章，我们聊聊 ShardingSphere-JDBC 相关知识点，并实战演示一番。 1 ShardingSphere 生态 Apache ShardingSphere 是一款分布式的数据库生态系统，它包含两 ......
【Azure Redis 缓存】示例使用 redisson-spring-boot-starter 连接/使用 Azure Redis 服务
问题描述 在 Spring Boot 项目中，使用 Redisson 连接 Azure Redis 服务，如下是详细的操作步骤(项目源代码文末可下载) 示例步骤 第一步: 在 Spring Boot 的项目中，添加 redisson-spring-boot-starter 依赖 在项目的pom.xm ......
在 Ubuntu 22 的基础上进行 Hadoop 伪分布式（HDFS）的搭建
一、使用VMware安装Ubuntu虚拟机 推荐可以再下个Xshell用于操作终端。 Xshell免费版官网下载地址：https://www.xshell.com/zh/free-for-home-school/ 二、伪分布式平台搭建 Part1: 准备工作 首先按 ctrl+alt+t 打开终端窗 ......
Redis缓存数据库-快速入门
Redis数据库快速入门 一、Redis数据库 介绍： Redis：非关系型缓存数据库 nosql：非关系型数据库 没有表，没有表与表之间的关系，更不存在外键 存储数据的形式为key：values的形式 c语言写的服务（监听端口），用来存储数据的，数据是存储在内存中，取值，放值速度非常快， 10w ......
Spring Cloud Alibaba 整合 Seata 实现分布式事务
在Spring Boot单体服务中，添加@Transactional注解就能实现事务。在单体服务中，执行事务都是在同一个数据库下进行。但是随着业务越来越复杂，数据量越来越大会进行分库分表。在微服务场景下，每个服务都有自己的数据库。之前的单体事务无法处理跨库的事务，这个时候就需要使用分布式事务。 前面 ......
redis（14）主从复制
Redis主从复制 主机数据更新后根据配置和策略， 自动同步到备机的 master/slaver 机制，Master 以写为主，Slave 以读为主，主从复制节点间数据是全量的。 作用： 读写分离，性能扩展 容灾快速恢复 上图将主服务器复制了3份从服务器，主服务器进行写操作，从服务器进行读操作，读写 ......
redis（13）持久化操作-AOF
AOF（Append Only File） 以日志的形式来记录每个写操作（增量保存），将 Redis 执行过的所有写指令记录下来 (读操作不记录)， 只许追加文件但不可以改写文件，redis 启动之初会读取该文件重新构建数据，换言之，redis 重启的话就根据日志文件的内容将写指令从前到后执行一次以 ......
Java+Redis 通过Lua 完成库存扣减，创建消息队列，异步处理消息--实战
需要完成功能 借助redis Stream 数据结构实现消息队列，异步完成订单创建，其中涉及到了缓存（击穿，穿透，雪崩），锁（Redisson），并发处理，异步处理，Lua脚本 IDE:IDEA 2022 1、读取库存数据 【Lua】 2、判断库存 【Lua】 3、扣减库存 【Lua】 4、创建队列 ......
我又和redis超时杠上了
我又和redis超时杠上了 服务监控系列文章 服务监控系列视频 背景 经过上次redis超时排查，并联系云服务商解决之后，redis超时的现象好了一阵子，但是最近又有超时现象报出，但与上次不同的是，这次超时的现象发生在业务高峰期，在简单看过服务器的各项指标以后，发现只有cpu的使用率在高峰期略高，我 ......
一次排查某某云上的redis读超时经历
一次排查某某云上的redis读超时经历 服务监控系列文章 服务监控系列视频 问题背景 最近一两天线上老是偶现的redis读超时报警，我嗅到了一丝不正常的味道，但由于业务繁忙，只是暂时将超时时间从200ms调制500ms，超时情况减少了，不过还是有发生。趁业务空闲期，于是开始着手排查。 排查思路 查阅 ......
Kustomize 生产实战-注入监控 APM Agent
Kustomize 简介 Kubernetes 原生配置管理工具, 它自定义引入了一种无需模板的方式来定制应用程序配置，从而简化了对现成应用程序的使用。目前，在kubectl中内置了，通过 apply -k 即可使用。 Kustomize 遍历 Kubernetes 清单以添加、删除或更新配置选项， ......
分布式架构-流量治理-流量控制
系列目录 分布式架构-流量治理-服务容错 分布式架构-流量治理-流量控制 引子 任何一个系统的运算、存储、网络资源都不是无限的，当系统资源不足以支撑外部超过预期的突发流量时，便应该要有取舍，建立面对超额流量自我保护的机制，这个机制就是微服务中常说的“限流”。 1.流量统计指标 每秒事务数（Trans ......
分布式架构-可靠通讯-服务安全
系列目录 分布式架构-可靠通讯-零信任网络 分布式架构-可靠通讯-服务安全 引子 上一节“分布式架构-可靠通讯-零信任网络”里，我们探讨了与微服务运作特点相适应的零信任安全模型。本节，我们将从实践和编码的角度出发，介绍在前微服务时代（以 Spring Cloud 为例）和云原生时代（以 Istio ......
Python实战项目-7发送验证码/短信登录/短信注册接口
腾讯云短信开发申请 API和SDK,有SDK优先用SDK SDK: 3.0版本云操作：云操作的sdk，不仅仅有发送短信，还有云功能的其他功能 2.0版本，简单，只有发送短信功能 # 安装sdk -方式一：pip install tencentcloud-sdk-python -方式二源码安装： -下 ......
Python实战项目-10文件存储/支付宝支付/支付成功回调接口
文件存储 视频文件存储在某个位置,如果放在自己服务器上 放在项目的media文件夹 服务器上线后,用户既要访问接口,又需要看视频,都是使用一个域名和端口 分开:问价你单独放在文件服务器上,文件服务器带宽比较高 # 文件服务器：专门存储文件的服务器 -第三方： -阿里云：对象存储 oss -腾讯对象存 ......
Python实战项目6-后端多方式登录接口/手机登录接口
为开源项目共享代码 步骤： 1先fork开源项目 2clone下来,修改代码，进行提交 3提交pr，等作者同意 Pycharm 使用Git 右键文件会列出Git命令 登录注册功能分析 多方式登录接口:用户名/手机号/邮箱 + 密码都可以登陆 发送手机验证码接口 (借助于第三方短信平台) 短信登录接口 ......
docker实战
docker实战笔记 一、安装docker 下面以ubuntu系统举例： 卸载已有的旧版本docker $ sudo apt-get remove docker \ docker-engine \ docker.io 使用apt安装最新版docker $ sudo apt-get update $ ......
Python实战项目5-Git远程仓库/分支合并/冲突解决
Git分支 为什么要有分支 可以保证主分支的版本都是可以查看的版本 我们都在开发分支开发，开发完成 合并代码 分支操作 分支查看 git branch 分支创建 git branch 分支名 分支切换git checkout 分支名 分支删除 git branch -d 分支名 分支合并 创建分支 ......
vim入门实战
一入编程深似海，从此节操是路人。 前段时间由于业务场景需求，不得不近一步学习 vim 使用方法，提高工作效率，就总结了一些常用快捷键使用方法。满足一般需求，掌握基本增、删、改、查就可以了，近一步学习可以了解多屏操作和宏的使用以及自定义插件功能。 Linux发行版服务器基本上是已经配置好 vi 或者 ......
podman 入门实战
一入编程深似海，从此节操是路人。 最近使用podman，就想着写一篇总结性的笔记，以备后续参考。就如同写代码，不写注释，过了一段时间可能会想这是我写的吗？不会吧，还要理一下逻辑才能读懂，不利于后期维护。 感觉整体体验下来，镜像获取、容器创建、容器监控、容器移除，和docker差不多，感觉可以作为替代 ......
从源码MessageSource的三个实现出发实战spring·i18n国际化
从源码去看MessageSource的几个实现类的源码出发，基于spring的国际化支持，实现国际化的开箱即用，静态文件配置刷新生效以及全局异常国际化处理。 ......
Redis的介绍安装以及启动与使用、数据类型、Redis管道、Django使用Redis
一、介绍Redis 1. 详细介绍 redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push ......
MySQL查看数据库性能常用命令和实战教学
MySQL查看数据库性能常用命令 # 列出MySQL服务器运行各种状态值 show global status; # 查询MySQL服务器配置信息语句 show variables; # 慢查询 show variables like '%slow%'; # MySQL服务器最大连接数 show v ......
【NLP 系列】Bert 词向量的空间分布
我们知道Bert 预训练模型针对分词、ner、文本分类等下游任务取得了很好的效果，但在语义相似度任务上，表现相较于 Word2Vec、Glove 等并没有明显的提升。 ......