分布式golang redis demo
Docker_harbor-网络排查以及redi排查
仓库registry 公共仓库 Docker Hub 这样的公共仓库 本地仓库 docker-registry 是官方提供的工具,可以用于构建私有的镜像仓库。 Harbor 是构建企业级私有docker镜像的仓库的开源解决方案,它是Docker Registry的更高级封装 还整合了两个开源的安全组 ......
Redis进阶命令
1.设置过期时间 expire [keyName] [seconds] eg: expire foo 60 再次使用expire命令会重置键的过期时间。 2.查看剩余过期时间 ttl [keyName] eg: ttl foo ttl表示time to live 3.使用事务 连续执行一系列命令 m ......
Redis_基础
Redis_基础 SQL与NoSQL对比 数据结构:结构化 非结构化 数据关联:关联的 无关联 查询方式:SQL查询 非SQL 事务特性:ACID BASE 存储方式:磁盘 内存 扩展性:垂直 水平 使用场景:数据结构固定,相关业务对数据安全性、一致性要求较高 数据结构不固定,对一致性、安全性要求不 ......
select for update在springboot里实现分布式锁
// mapper,注意,这里的参数最好就是主键或者唯一键,否则产生的是表锁 @Select("<script> select* from foo where id = #{id} for update</script>") Foo selectForUpdateById(@Param("id") ......
torch 多进程训练和分布式训练
通常来说,多进程没有涉及到梯度同步的概念。 分布式则设计梯度同步。分布式中,如果用cpu,则指定gloo后端。用gpu,则指定nccl后端。 多进程训练 只需要mp.spawn即可,每个进程只负责自己的模型训练,不涉及梯度同步。 例子 https://www.geeksforgeeks.org/mu ......
Golang实现简易的顺序执行协程池
countable_executor.go // 一个可计数的单线程顺序任务执行器 type CountableExecutor struct { name string // 名称 taskQueue chan iCountableTask // 任务队列 bufferSize int // 缓冲 ......
redis加锁逻辑分析
public boolean tryLock(long waitTime, long leaseTime, TimeUnit unit) throws InterruptedException { //省略部分代码 time -= System.currentTimeMillis() - curre ......
写了一个flinkcdc的简单demo,大概说一下实现过程和建议点
架构图大致如下: 版本信息大致如下,具体版本信息根据自己的需求进行调整即可: oracle:19c flinkcdc:2.4.0 kafka:3.1.2 flink:1.15.4 mysql:8.0.27 springboot:2.5.6 实现需求: 1.使用flinkcdc采集oracle中的数据 ......
Redis命令整合(五) Zset型
有序集合。使用分数score来标记每个元素 1.添加元素 zadd mathScore 98 jordan 86 james 77 kobe 添加了三个元素,分数在前 2.假如添加的元素已经存在的话,则会替换原来的分数。 zadd mathScore 79 kobe 则将kobe的分数改为79 3. ......
redis-om-python
redis-om-python https://github.com/redis/redis-om-python Redis OM Python makes it easy to model Redis data in your Python applications. Why Redis OM? ......
Redis命令整合(四) Set型
集合类型。元素各不相同没有顺序 1.添加元素 sadd [keyName] [member1] [member2]... eg: sadd letters a b c 2.删除元素 srem [keyName] [member1] [member2]... eg srem letters a b 3 ......
Redis内存淘汰策略
Redis内存过期策略 定时过期 设置有效时间的key一旦过期,立马从内存中删除。好处就是内存及时释放,坏处就是不停扫描key,cpu消耗严重 惰性过期 设置有效时间的key过期,不立马删除key,而是等下一次查询到该key时执行删除动作。好处就是cpu消耗降低,坏处就是消耗内存 定期过期 每过一段 ......
SQL server不同域之间搭建分布式可用性组
配置 Always On 分布式可用性组 要创建分布式可用性组,必须创建两个具有各自侦听程序的可用性组。 然后将这些可用性组合并到分布式可用性组中。 两个可用性组无需处于同一位置:它们可以跨物理机、虚拟机;跨内网、云上;跨有域、无域;甚至跨平台(如Linux、Windows)。只要两个可用性组可以进 ......
docker swarm 部署一主两从的redis集群
docker-compose文件准备 docker-compose-redis-cluster.yml version: '3.8' services: redis-master: image: redis command: redis-server --requirepass your_passw ......
Redis 3 种特殊数据类型详解、Redis内存碎片
Cache Aside Pattern(旁路缓存模式) Cache Aside Pattern 是我们平时使用比较多的一个缓存读写模式,比较适合读请求比较多的场景。 Cache Aside Pattern 中服务端需要同时维系 db 和 cache,并且是以 db 的结果为准。 下面我们来看一下这个 ......
Redis-server闪退问题
对于无缘无故出现闪退的情况,就是因为我们的redis处于长时间运行的原因: 打开redis-cli.exe 窗口 执行shutdown命令然后输入exit 退出我们redis: 退出成功之后重新打开redis就好了(redis-server.exe) ......
PHP里redis的大坑:加号被转为空格
最近在PHP中使用js把图像的base64存入redis,取出来的时候发现无法正常显示图像。 试了无数次,javascript看来看去也没有问题,最终发现是redis的问题:加号全部被自动转为空格了。 (尚未仔细检查是否为PHP里的 $redis = new Redis(); 这个的问题,还是说这个 ......
Redis 也支持全文搜索 了?这也太强了
在 2021 年我就了解到 RediSearch 这个项目,并已经把它用于我的开源项目 newbee-mall-pro 中。 就我的使用体验来说,简单场景下,用来平替 Elasticsearch 的使用场景已经足够。像是 Elasticsearch 中常用中文分词插件可以用 RediSearch 替 ......
golang之泛型
Go 1.18版本增加了对泛型的支持,泛型也是自 Go 语言开源以来所做的最大改变。 泛型允许程序员在强类型程序设计语言中编写代码时使用一些以后才指定的类型,在实例化时作为参数指明这些类型。ーー换句话说,在编写某些代码或数据结构时先不提供值的类型,而是之后再提供。 泛型是一种独立于所使用的特定类型的 ......
golang 生成excel文件,或者结合gin框架返回文件流
package main import ( "errors" "fmt" "github.com/gin-gonic/gin" "github.com/xuri/excelize/v2" ) func ReadExcel(file string, sheet string) ([][]string, ......
分布式配置中心
为什么要有分布式配置中心: 1、项目背景 现在有一个项目,使用SSM进行开发的,配置文件的话我们知道是一个叫做application.properties的文件。 #业务参数相关配置 user.register.default.name=小强 user.register.default.sex=男 ......
golang按换行符一行一行读取GBK文件
package awesomeProject1 import ( "bufio" "fmt" "github.com/axgle/mahonia" "io" "log" "os" ) func main() { filename := "/tmp/test.txt" readTbkByLine(fi ......
分布式缓存
分布式系统中常用的缓存方案有哪些? 客户端缓存:页面和浏览器缓存,APP缓存,H5缓存,localStorage和sessionStorage CDN缓存: 内存存储:数据的缓存 内容分发:负载均衡 nginx缓存:本地缓存,外部缓存 数据库缓存:持久层缓存(mybatis,hibernate多级缓 ......
真机调试 Flutter 报错:Lookup failed: title in @getters in MyHomePage in package:flutter_demo02/main.dart
发生缘由 学习 Flutter 更改 lib 目录下面的 main.dart 文件之后真机调试运行 flutter run 报错: 1 # 小组件库异常 2 ══╡ EXCEPTION CAUGHT BY WIDGETS LIBRARY ╞══════════════════════════════ ......
分布式事务
什么是分布式事务? 对于分布式系统而言,需要保证分布式系统中的数据一致性,保证数据在子系统中始终保持一致,避免业务出现问题。 简单的说,在分布式系统上,一次大的操作由不同的小操作组成,这些小的操作分布在不同的服务节点上,且属于不同的应用,分布式事务需要保证这些小操作要么全部成功,要么全部失败。 举个 ......
分布式锁
为什么需要分布式锁? 在多线程环境中,如果多个线程同时访问共享资源(例如商品库存、外卖订单),会发生数据竞争,可能会导致出现脏数据或者系统问题,威胁到程序的正常运行。我们需要使用互斥操作对共享资源进行保护,即同一时刻只允许一个线程访问共享资源,其他线程需要等待当前线程释放后才能访问。这样可以避免数据 ......
Redis哨兵
是什么 吹哨人巡查监控后台master主机是否故障,如果故障了根据投票数自动将某一个从库转为新主库,继续对外服务 能干嘛 主从监控:监控主从Redis库运行是否正常 消息通知:哨兵可以将故障转移的结果发送给客户端 故障转移:如果Master异常,则会进行主从切换,将其中一个Slave作为新Maste ......
Redis的数据类型以及使用场景,看这一篇就够啦
Redis的数据类型以及使用场景,看这一篇就够啦 原创2021-06-20 18:02·猿视野 Redis 数据类型 string String hash HashMap list LinkedList set HashSet sorted_set TreeSet redis 数据存储格式 redi ......
基于Docker容器搭建hadoop完全分布式集群环境
简介 物理机:windows10 宿主机:Centos7虚拟机,需要安装Docker服务 hadoop集群节点:3个centos7的容器,hadoop1、hadoop2、hadoop3 组件: 容器镜像:Centos7 Docker CE 24.0.7 JDK1.8.0_181 Hadoop3.1. ......
Redis和Springboot在Windows上面设置开机启动的方法
Redis和Springboot在Windows上面设置开机启动的方法 背景 同事遇到一个问题 Windows 晚上自动更新服务 然后第二天 Springboot开发的程序没有启动起来. 所以基于此想创建一个开机启动的服务设置 很早之前自己研究过 Winsw等工具 但是感觉对springboot 比 ......