分布式golang redis demo

springboot和redis执行lua脚本——踩坑

问题:原先想使用redis执行lua脚本作为项目限流基础,lua脚本后写完后执行一直报错如下图: 卡了几天了,没看明白咋回事,一次偶然试了一下解决了,传递lua参数需要时String 类型难怪说报错强转String类型异常 灵感来源参考文章:踩坑之RedisTemplate执行Lua脚本 - 知乎 ......
脚本 springboot redis lua

Redis——内存淘汰策略

一、缓存耗尽的原因 1、每台机器的内存是一定的 2、key未设置过期时间 key不设置过期时间则在内存中一直存在,直到我们明确删除它。 3、过度或不合理的持久化 无论RDB快照或者AOF日志,都会在内存和磁盘中反复操作,需要一定的内存空间。 4、不及时清理过期缓存 有时过期缓存依旧存在,主要和缓存清 ......
内存 策略 Redis

Using publicly 使用公开遥感数据做非洲贫困分布制图

Using publicly 使用公开遥感数据做非洲贫困分布制图 Abstract 使用了约20000个village-level的点,得到village-level的精度是$r^2$=70% 在时间维度上,使用了district-aggregated change 作为评估尺度,精度是$r^2$= ......
遥感 publicly 数据 Using

.NetCore中使用分布式事务DTM的二阶段消息

一、概述 二阶段消息是DTM新提出的,可以完美代替现有的事务消息和本地消息表架构。无论从复杂度、性能、便利性还是代码量都是完胜现有的方案。 相比现有的消息架构借助于各种消息中间件比如RocketMQ等,DTM自己实现了无需额外的学习成本。它能够保证本地事务的提交和全局事务提交是“原子的”,适合解决不 ......
分布式 阶段 事务 NetCore 消息

redis集群方案的优缺点以及原理

如果主库挂了,我们就需要运行一个新主库,比如说把一个从库切换为主库,把它当成主库。 这就涉及到三个问题: 主库真的挂了吗? 该选择哪个从库作为主库? 怎么把新主库的相关信息通知给从库和客户端呢? 这就要提到哨兵机制了。在 Redis 主从集群中,哨兵机制是实现主从库自动切换的关键机制,它有效地解决了 ......
优缺点 集群 原理 方案 redis

分布式事务讲解之CAP,2PC,3PC,TCC

学习此篇分布式事务前先学习Spring事务讲解 1 CAP 1.1 CAP原则 CAP原则又称CAP定理, 指的是在一个分布式系统中, Consistency(一致性) 、Availability(可用性) 、 Partition tolerance(分区容错性) , 三者不可兼得。 |原则分类|详 ......
分布式 事务 PC CAP 2PC

(转)Golang 编程思维和工程实战

原文:https://zhuanlan.zhihu.com/p/426368274 一 Golang 编程思维 首先,我们先来看下最基本的,就是 Golang 的学习技巧,比如: 通读 Golang 的一些好的文章如 Frequently Asked Questions (FAQ)或者看看 FAQ ......
实战 思维 Golang 工程

Redis基于@Cacheable注解实现接口缓存

说明 @Cacheable 注解在方法上,表示该方法的返回结果是可以缓存的。也就是说,该方法的返回结果会放在缓存中,以便于以后使用相同的参数调用该方法时,会返回缓存中的值,而不会实际执行该方法。 | 属性名称 | 属性描述 | 举例 | | | | | | value/cacheNames | 指定 ......
注解 缓存 Cacheable 接口 Redis

SpringBoot整合Redis

注:若SpringBoot在yml文件中未配置redis时,它也会默认去连接本地redis(我猜测它有默认redis配置) 导入依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-st ......
SpringBoot Redis

分析微信好友数据,可以可视化好友男女比例分布,可视化省份来源,可视化签名的情感强度值

一、分析数据可视化好友男女分布比例 1 plt.rcParams['font.sans-serif']=['SimHei'] 2 #用来正常显示中文标签 3 plt.rcParams['axes.unicode_minus']=False 4 5 # 1.读取csv文件,把性别信息读取出来 6 de ......
好友 强度 省份 比例 来源

Redis数据库高可用

一、Redis高可用 在web服务器中,高可用是指服务器可以正常访问的时问,衡量的标准是在多长时间内可以提供正常服务(99.9%、99.99% 99.998等等)。但是在Redis语境中,高可用的含义似乎要宽泛一些,除了保证提供正常服务(如主从分离、快速容灾技术),还需要考虑数据容量的扩展、数据安全 ......
数据库 数据 Redis

一个机器开启多个redis

一个机器开启多个redis 复制redis.conf(可以先查一下redis.conf路径在哪里,find / -name redis.conf ) cp redis.conf redis3.conf 修改port、pidfile(命令行下用 /port 可以快速查询,按n查找下一个) port 6 ......
多个 机器 redis

Redis和kafka比较,两者的区别和各自的优势。

1. Redis,它首先是一个内存数据库,其提供的PUB/SUB功能把消息保存在内存中(基于channel),因此如果你的消息的持久性需求并不高且后端应用的消费能力超强的话,使用Redis PUB/SUB是比较合适的使用场景。比如官网说提供的一个网络聊天室的例子:模拟IRC,因为channel就是I ......
优势 Redis kafka

DG储能选址定容模型matlab 程序采用改进粒子群算法,考虑时序性得到分布式和储能的选址定容模型

DG储能选址定容模型matlab 程序采用改进粒子群算法,考虑时序性得到分布式和储能的选址定容模型,程序运行可靠YID:87140641990659957 ......
模型 时序 分布式 粒子 算法

RedisInsight的使用(Redis图形化工具)

建议连接redis-cluster需求的,并且没有设置密码的,安装redisinsight-win-1.13.1.msi,但是官网说1.X版本在23/4/30后就不支持了。 在浏览器中输入 http://IP:8001 就能看到主界面 勾选 I have read and understood th ......
RedisInsight 图形 工具 Redis

麒麟系统开发笔记(十一):在国产麒麟系统上使用gdb定位崩溃异常方法流程进阶定位代码行数及专项测试Demo

前言 上一篇,通过研究,可以定位到函数,本篇进一步优化,没有行数,程序较为复杂的时候,就无法定位,所以进一步定位。 本篇做了qBreakpad的研究,但是没有成功,过程也还是填出来,后来突然注意到gdb出现行数的方法,并通过了几轮测试以及实战,确实可以定位到行数,所以为了大家方便,把国企麒麟上的Qt ......
系统 专项 流程 国产 代码

Python小练习:从正态分布中采样

Python小练习:从正态分布中采样 作者:凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/ 本文用Python实现三种从正态(高斯)分布中的采样方式:确定性采样、重参数化技巧(推荐)、直接采样。 1. normal_test.py 1 # -*- codin ......
正态分布 Python

envoyproxy是如何支持redis协议的?

官方文档 https://www.envoyproxy.io/docs/envoy/latest/intro/arch_overview/other_protocols/redis#arch-overview-redis 跨集群访问redis_cluster的问题是如何通过envoy解决的? 概览 ......
envoyproxy redis

.NET 的分布式锁类库

自己动手基于 Redis 实现一个 .NET 的分布式锁类库 分布式锁的核心其实就是采用一个集中式的服务,然后多个应用节点进行抢占式锁定来进行实现,今天介绍如何采用Redis作为基础服务,实现一个分布式锁的类库,本方案不考虑 Redis 集群多节点问题,如果引入集群多节点问题,会导致解决成本大幅上升 ......
分布式 NET

redis网络IO模型底层使用IO多路复用,通过reactor模式实现的,在redis 6.0以前属于单reactor单线程模式

详解redis网络IO模型 前言 "redis是单线程的" 这句话我们耳熟能详。但它有一定的前提,redis整个服务不可能只用到一个线程完成所有工作,它还有持久化、key过期删除、集群管理等其它模块,redis会通过fork子进程或开启额外的线程去处理。所谓的单线程是指从网络连接(accept) - ......
reactor 模式 redis 线程 底层

使用 docker-compose 完整的运行一个 flask 应用(nginx+gunicorn+flask+mysql+redis)

(一) 镜像的准备 1. docker-compose 的概述 docker-compose 中的两个要素: 服务(service) 一个个应用容器实例,比如订单微服务、库存微服务、mysql容器、nginx容器或者redis容器 工程(project) 由一组关联的应用容器组成的一个完整业务单元, ......
flask docker-compose gunicorn compose docker

SequoiaDB分布式数据库2023.3月刊

本月看点速览 赋能行业,参编《分布式数据库金融应用发展报告》 脱颖而出,入选2022专精特新黑马大赛年度十强 激烈角逐,成功晋级全国信创优秀解决方案决赛 新穗新彩,多家权威媒体走进巨杉 青杉计划2023持续进行,一起攀登更高的“杉” 赋能行业,参编《分布式数据库金融应用发展报告》 本月,北京金融科技 ......
分布式 月刊 SequoiaDB 数据库 数据

NoSQL之Redis配置与优化

一、数据库类型 1. 关系型数据库 关系型数据库是一个结构化的数据库,创建在关系模型 (二维表格模型) 基础上,一般面向于记录。 SQL语句 (标准数据查询语言) 就是一种基于关系型数据库的语言,用于执行对关系型数据库中数据的检索和操作。 主流的关系型数据库包括Oracle、MySQL、SQL Se ......
NoSQL Redis

RocketMQ x OpenTelemetry 分布式全链路追踪最佳实践

在分布式系统中,多个服务之间的交互涉及到复杂的网络通信和数据传输,其中每个服务可能由不同的团队或组织负责维护和开发。因此,在这样的环境下,当一个请求被发出并经过多个服务的处理后,如果出现了问题或错误,很难快速定位到根因。分布式全链路追踪技术则可以帮助我们解决这个问题,它能够跟踪和记录请求在系统中的传... ......
链路 分布式 OpenTelemetry RocketMQ

微信小程序开发:前端中的"Redis"

wx.setStorageSync('key', 'value') wx.getStorageSync("key") 参考链接 https://developers.weixin.qq.com/miniprogram/dev/api/storage/wx.setStorageSync.html ......
quot 前端 Redis

k8s部署redis集群(cluster模式)

参考:https://www.cnblogs.com/LiuChang-blog/p/15898005.html 一、redis集群部署(三主三从) 1.1yaml文件准备 (1) 配置文件说明 # 部署所在命名空间: redis-cluster [root@k8s-master1 ~]# cd / ......
集群 cluster 模式 redis k8s

Golang 包相关问题

gopath、vendor、dep 、go module 的区别 gopath:要设置环境变量,然后执行执行 go install进行安装 vendor: 将第三方依赖完全和工程整合且本地化,构建项目速度快,但冗余度很高。很万能的方法 dep可以直接给引入的第三方包一个专门的目录,并且可以专门制定一 ......
Golang 问题

分布式事务和分布式锁

一、分布式中的CAP原则 1.1 CAP的概念 CAP原则指的是在一个分布式系统中,Consistency(一致性)、Availability(可用性)、Partition tolerance(分区容错性),最多只能满足两个,三者不能兼得 Consistency(一致性) 指的是对于每一次的读取操作 ......
分布式 事务

redis cluster 故障后,主从位于不同节点的修复【转】

今天机房有一台物理机宕机了,有一个虚拟机192.168.1.122,其上有两个redis 节点也不能用了。 redis没有备份,丢失的192.168.1.122节点只能重建。 我找运维的人,分配了一个全新的虚拟机,并且分配的ip的地址仍然是192.168.1.122。 我在上面装了两个全新的redi ......
主从 节点 故障 cluster redis

redis cluster 故障后,主从位于相同节点的修复(丢失了部分数据)【转】

今天机房出现故障,有一个机器启动不起来,redis cluster集群丢失了一部分数据,拓扑图如下: 通过上图可以看到,192.168.1.122启动不起来后,其上的主1和从1因为在一个机器上,就全部丢失了。 这个布局非常危险,主和从不应该放在一个机器上。 我找运维,运维给我分配了一个全新的机器,并 ......
主从 节点 故障 cluster 部分