分布式 黑马 实战redis
使用Redis作为维表输入的Flink示例代码
下面是一个使用Redis作为维表输入的Flink示例代码： ```java import org.apache.flink.api.common.functions.RichFlatMapFunction; import org.apache.flink.api.common.state.MapSt ......
分布式事务的解决方案及中间件
方案一：XA 两阶段提交方案是一种比较重的操作，其中有有以下三个角色：事务管理器（TM）、事务协调者（TC）、资源管理器（RM），资源锁定时间长，效率低。 方案二：TCC 采用冻结预留的方式锁定资源，开发量较大，常用于资金交易类的场景。 方案三：本地消息表 严重依赖消息表来管理事务，并不适用高并发。 ......
分布式系统的设计模式——每个开发人员都应该知道的关键概念
当我刚开始作为后端工程师的职业生涯时，我总是使用单体系统。 工作很好，但我的脑海里一直有这样的想法： “伙计，我想在大型系统上工作，比如谷歌、Netflix 等……” 我当时 19 岁，是一名初级开发人员，所以在这里让我放松一下。 在我的一位同事开始谈论它之前，我什至不知道分布式系统这个术语。 然后 ......
redis 集群安装
redis-5版本的集群安装 1. 5版本往上就不再使用ruby去创建集群了。 2. 具体的创建步骤可以参见下面的博文。https://www.jianshu.com/p/e9eab2f4a564 3. redis集群开机自启： https://www.cnblogs.com/powerwu/art ......
k8s实战案例之部署Zookeeper集群
zookeeper是一个开源的分布式协调服务，由知名互联网公司Yahoo创建，它是Chubby的开源实现；换句话讲，zookeeper是一个典型的分布式数据一致性解决方案，分布式应用程序可以基于它实现数据的发布/订阅、负载均衡、名称服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式... ......
Hadoop - 分布式部署
Zookeeper的分布式部署 >> Hadoop的分布式部署 集群规划 安装部署 集群规划 序号 主机名 JDK Zookeeper NameNode JournalNode DataNode ResourceManager NodeManager 1 node01 JDK ZK NN JN DN ......
scrapy简单教程以及实战
1.scrapy基础 首先看看本学习视频的学习大纲 1.1 简介 Scrapy是用python实现的一个为了爬取网站数据，提取结构性数据而编写的应用框架。使用Twisted高效异步网络框架来处理网络通信。Scrapy架构： 关于Scrapy架构各项说明，如下所示： ScrapyEngine：引擎。负 ......
Redis 的事务
## 1. Redis 的事务 一般来说，常见的关于 MySQL 的 ```事务``` 的定义，无非是把一组数据库命令放在一起执行，保证操作原子性，要么同时成功，要么同时失败。 但是 Redis 的事务跟 MySQL 的事务有一点点区别，Redis 的事务允许把一组 redis 命令放在一起，把命令 ......
m基于BBV网络的节点强度分布算法matlab仿真
1.算法仿真效果 matlab2022a仿真结果如下： 2.算法涉及理论知识概要 随着互联网的发展和数据规模的不断增大，网络科学在各个领域中得到了广泛应用。在网络科学中，节点强度是一个重要的指标，它用于描述一个节点在网络中的重要性或中心性。本文提出了一种基于BBV网络的节点强度分布算法，该算法通过对 ......
分布式锁（设置锁和过期时间）
问题描述： 随着业务发展的需要，原单体单机部署的系统被演化分成分布式集群系统后，由于分布式系统多线程、多进程且分布在不同机器上，这将使原单机部署情况下的并发控制锁策略失效，单纯的Java API并不能提供分布式锁的能力。为了解决这个问题就需要一种跨JVM的互斥机制来控制共享资源的访问，这就是分布式锁 ......
2023-06-05：Redis官方为什么不提供 Windows版本？
2023-06-05：Redis官方为什么不提供 Windows版本？ 答案2023-06-05： Redis官方没有提供Windows版本有几个原因。 1.Redis的开发团队规模较小，由三四名核心开发者组成。他们更加熟悉和习惯Unix-like系统，在这些系统上进行开发和测试可以更高效地进行。然 ......
Redis(四) -- 缓存
# 缓存 ## 缓存更新方式 这是决定在使用缓存时就该考虑的问题。 - 设置缓存数据的TTL，当缓存数据失效后，如果有系统要请求，则会查询数据库并插入缓存（被动更新） 不友好 - 在各类会往mysql写入数据的系统中，植入更新缓存的逻辑（判断哪些表的数据是热点数据，那么就可以在这些表数据的更新操作逻 ......
【Redis】Redis 常见数据类型和应用场景
1 前言 我们都知道 Redis 提供了丰富的数据类型，常见的有五种：String（字符串），Hash（哈希），List（列表），Set（集合）、Zset（有序集合）。 随着 Redis 版本的更新，后面又支持了四种数据类型： BitMap（2.2 版新增）、HyperLogLog（2.8 版新增） ......
opennmmlab实战营二期-mmpretrain理论课（四）
# opennmmlab实战营二期-mmpretrain理论课（四） [toc] [点我：视频地址](https://www.bilibili.com/video/BV1PN411y7C1/?spm_id_from=333.999.0.0&vd_source=db3d134c564b091aeb95 ......
分布式爬虫
分布式 分布式的本质就如上期提到的一个概念：分布式系统是若干独立计算机的集合，这些计算机对于用户来说就像是单个相关系统。这就是在说，把廉价的计算机堆到一起，通过程序控制，使其整体用起来像个高性能计算机，目的就是节约成本。 对于分布式爬虫系统来说，假设1台机器能10天爬完一个任务，如果部署10台机器， ......
NineData，稳定、高效的Redis数据同步解决方案
NineData（https://www.ninedata.cloud/）在Redis的同步上，提供了稳定和高效的解决方案，并且性能上也领先其他同步工具，特别是在同步的动态限流、数据对比修复和限流、异常修复和断点续传等能力上也支持的最完善。 ......
Redis系列14：使用List实现消息队列
[Redis系列1：深刻理解高性能Redis的本质](https://www.cnblogs.com/wzh2010/p/15886787.html "Redis系列1：深刻理解高性能Redis的本质") [Redis系列2：数据持久化提高可用性](https://www.cnblogs.com/w ......
SQL注入三连实战绕过WTS-WAF
一键三连，sql注入 一次无意之间发现的sql注入，主要是因为有一个WTS-WAF，在此记录一下 只是友好测试，并非有意为之。。。。 # 牛刀小试1 ## 手注 **判断字段数** 测试到order by 15的时候出现了报错，那么就可以说明字段数为14 ``` http://www.xxx.com ......
黑马商城
黑马商城分为三块  其中，前端部分有二 、mongodb、zookeeper等环境
基本操作 部署docker容器并启动(进入docker-compose.yml文件所在目录执行) docker-compose up -d 关闭容器(同理) # 停止服务 docker-compose stop #停止并删除容器、网络、卷、镜像。 docker-compose down 查看当前do ......
redis的增删改查
增加（添加）操作： 设置单个键值对：SET key value 设置多个键值对：MSET key1 value1 key2 value2 ... 添加元素到列表的尾部：RPUSH key element 添加元素到集合：SADD key member 删除操作： 删除单个键：DEL key 删除多个 ......
JVM 诊断神器-Arthas实战
什么是Arthas(阿尔萨斯） 阿里开源的Java诊断工具，它可以在运行时对Java应用程序进行动态诊断和调试 当你遇到以下类似问题而束手无策时，Arthas可以帮助你解决 这个类从哪个 jar 包加载的？为什么会报各种类相关的 Exception？ 我改的代码为什么没有执行到？难道是我没 comm ......
Redis lua脚本简要学习
# Redis lua脚本简要学习 ## 背景 ``` 上周督促客户从Windows平台升级到了Linux平台. redis一周相安无事. 但是这周一突然又出现了卡断和慢的情况. 只能继续进行分析. ``` ## 分析思路 ``` 现场日志里面出现了大量的错误提示: BUSY Redis is bu ......
如何在 Memcache 与 Redis 中做选择？
#memcache vs redis ### Memcached和Redis都是流行的内存缓存系统，用于提高应用程序的性能和响应速度。它们有一些相似之处，但也有一些区别。以下是Memcached和Redis之间的一些比较： #### 数据存储：Memcached和Redis都可以存储键值对数据。Me ......
k8s实战案例之部署Nginx+Tomcat+NFS实现动静分离
根据业务的不同，我们可以导入官方基础镜像，在官方基础镜像的基础上自定义需要用的工具和环境，然后构建成自定义出自定义基础镜像，后续再基于自定义基础镜像，来构建不同服务的基础镜像，最后基于服务的自定义基础镜像构建出对应业务镜像；最后将这些镜像上传至本地harbor仓库，然后通过k8s配置清单，将对应业务... ......
分布式事务
一。首先复习下mysql事务 事务四特性： 原子性(A)：要么全运行，要么全不运行 一致性(C)：事务之前A有100块，B有100块，A给B转账，事务结束后A和B的余额总和必须也得是200块。这里除了代码逻辑上没有问题之外，其实还需要其他三个特性的支持。 隔离性(I)：事务之间互不影响。 持久性(D ......
Redis(三) -- 其他数据类型和数据持久化
# 其他数据类型 ## List ### LPUSH ```sql LPUSH key value [value ...] -- 将一个或多个值 value 插入到列表 key 的表头 -- 如果有多个 value 值，那么各个 value 值按从左到右的顺序依次插入到表头： 比如说，对空列表 my ......
Redis_主从复制
一、主从复制介绍 主机数据更新后根据配置和策略，自动同步到备机的master/slave 机制，Master以写为主，slave以读为主 好处：读写分离，性能扩展；容灾快速恢复（一主多从）：一台slave从机挂掉，马上切换到另一台slave从机提供服务。 主机挂：集群 集群：一主多从 ——关联—— ......
缓存击穿【Redis 缓存】
缓存击穿 缓存击穿问题也叫热点 Key 问题，就是一个被高并发访问并且缓存重建业务较复杂的 key 突然失效了，无数的请求访问会在瞬间给数据库带来巨大的冲击。 解决方案： 互斥锁 逻辑过期 ......