分布式golang redis demo

Golang之常用方法[总结]

1. 有一堆数字,如果除了一个数字以外,其他数字都出现了两次,那么如何找到出现一次的数字? nums := []int{1, 5, 1, 6, 5, 3, 6} i := 0 for _, v := range nums { i ^= v } fmt.Print(i) 重点是异或的使用 ......
常用 方法 Golang

Redis配置

常规 daemonize 后台运行 tcp-backlog 设置tcp的backlog,backlog其实是一个连接队列,backlog队列总和=未完成三次握手队列 + 已经完成三次握手队列。在高并发环境下你需要一个高backlog值来避免慢客户端连接问题。注 意Linux内核会将这个值减小到/pr ......
Redis

(转)使用 Golang 创建和读取 Excel 文件

原文:https://juejin.cn/post/7117578016858849293 摘要 本文提出一种使用 Golang 进行 Excel 文件创建和读取的方案。首先对问题进行分析,引出方案的基本架构;然后分章节描述了 Excelize 基础库的基本用法,以及 Excel 数据在 Golan ......
文件 Golang Excel

运行 Golang 程序时让程序不会在运行结束后立即关闭命令行窗口

在运行 Golang 程序时,为了让程序不会在运行结束后立即关闭命令行窗口,可以采用以下两种方法: 使用 fmt.Scanln() 函数 在程序的末尾添加一行 fmt.Scanln() 可以暂停程序运行,等待用户在命令行中输入任何字符,程序将等待用户输入,然后再继续执行直到程序结束。 package ......
程序 命令 Golang

Rabbit-分布式事务实例 20230406

一、生产、消费者 流程 1、生产者(下单后生产 务必成功) 派单队列:order_platonn_queue 交换机:order_exchange_name 绑交换机路由键:orderRoutingKey 生产者=>采用confirm,确认应答机制 Ack模式:成功 失败则重试 2、消费者(plat ......
分布式 实例 20230406 事务 Rabbit

分布式技术剖析

随着企业数字化进程的进一步深入,企业为了解决大数据的“4个V”问题,往往需要构建多个不同技术栈的大数据平台,其中不乏会使用到分布式相关的存储、计算、资源管理技术。分布式系统的出现解决了单机系统无法解决的成本、效率和高可用问题。那么什么是分布式技术?如何发展至今?主要包括哪几方面的技术?本文将对分布式 ......
分布式 技术

通过 Homebrew 在 Mac OS X 上安装和配置 Redis

通过使用 Homebrew,可以大大降低在 Mac OS X 上设置和配置开发环境的成本。 让我们安装 Redis。 $ brew install redis 安装后,我们将看到一些有关配置注意事项的通知。 离开它并继续关注本文中的一些任务。 开机自启动 Redis $ ln -sfv /usr/l ......
Homebrew Redis Mac OS

cube的Demo

代码参考: use Demo go select Name,ExamNode ,Course,avg(Num) from SumDemo group by Name,ExamNode,Course with cube order by Name desc,ExamNode desc,Course d ......
cube Demo

Hadoop完全分布式集群搭建

0 准备工作 首先需要准备三台虚拟机,这里准备的是hadoop1,hadoop1,hadoop3,虚拟机机要求如下: 配置了静态IP。 关闭了防火墙的。 虚拟机下载安装:https://www.cnblogs.com/lgjb/p/17292698.html 1 配置ssh免密登录 配置ssh免密登 ......
分布式 集群 Hadoop

golang pprof 监控系列(4) —— goroutine thread 统计原理

golang pprof 监控系列(4) —— goroutine thread 统计原理 大家好,我是蓝胖子。 在之前 golang pprof监控 系列文章里我分别介绍了go trace以及go pprof工具对memory,block,mutex这些维度的统计原理,今天我们接着来介绍golan ......
goroutine 原理 golang thread pprof

docker-compose 运行 redis

redis.conf logfile /data/redis/logs/redis.log dir /data/redis/data bind 0.0.0.0 requirepass 123456 UID # docker run --rm -it redis:7.0.10 id redis uid ......
docker-compose compose docker redis

Redis之持久化讲解

1 Redis持久化 Redis数据是存储在内存中的,但是我们都知道内存的数据变化是很快的,也容易发生丢失,为了保证Redis数据不丢失,那就要把数据从内存存储到磁盘上,以便在服务器重启后还能够从磁盘中恢复原有数据,这就是Redis的数据持久化。 Redis数据持久化有三种方式: AOF 日志(Ap ......
Redis

分布式与微服务之间的关系

根据设计期的架构思想和运行期的不同结构分为: 面向服务的架构 分布式服务架构 微服务架构 1、面向服务架构。以业务服务的角度和服务总线的方式,一般是webservice与ESB,考虑系统架构和企业IT治理; 2、分布式服务架构。基于去中心化的分布式服务框架与技术,考虑系统架构和服务治理; 3、微服务 ......
分布式 之间

C# ActiveMQ使用demo

安装流程在上一篇 引入包 在nuget中下载安装Apache.NMS.ActiveMQ 如图 收发都要 引入 using Apache.NMS; using Apache.NMS.ActiveMQ; 发信方 IConnectionFactory factory = new ConnectionFac ......
ActiveMQ demo

redis集群,模块启动报错:PoolException: Returned connection io.lettuce.core.cluster.StatefulRedisClusterConnectionImpl@49bd0985 was either previously returned or does not belong to this connection provider

redis 3主3从的配置 启动正常,客户端命令使用正常,突然今天开发测试环境 有些模块报错了: org.springframework.data.redis.connection.PoolException: Returned connection io.lettuce.core.cluster. ......

golang开发需要掌握的核心包以及中间件,涵盖项目的各个领域,值得收藏

golang开发需要掌握的核心包以及中间件,涵盖项目的各个领域,值得收藏。 常用包常用包 说明fmt 实现格式化的输入输出操作,其中的fmt.Printf()和fmt.Println()是开发者使用最为频繁的函数。io 实现了一系列非平台相关的IO相关接口和实现,比如提供了对os中系统相关的IO功能 ......
中间件 核心 领域 项目 golang

新一代分布式任务调度框架

本文已经收录到Github仓库,该仓库包含计算机基础、Java基础、多线程、JVM、数据库、Redis、Spring、Mybatis、SpringMVC、SpringBoot、分布式、微服务、设计模式、架构、校招社招分享等核心知识点,欢迎star~ Github地址 如果访问不了Github,可以访 ......
分布式 新一代 框架 任务

GFS分布式文件系统

GFS分布式文件系统 1.GlusterFS简介 GlusterFS (Gluster File System) 是一个开源的分布式文件系统,主要由 Z RESEARCH 公司负责开发。GlusterFS 是 Scale-Out 存储解决方案 Gluster 的核心,具有强大的横向扩展能力, 通过扩 ......
分布式 文件 系统 GFS

Golang基础-Select

基本概念 select 是 Go 中的一个控制结构,类似于 switch 语句。 select 语句只能用于通道(channel)操作,每个 case 必须是一个通道操作,要么是发送要么是接收。 select 语句会监听所有指定的通道上的操作,一旦其中一个通道准备好就会执行相应的代码块。 如果多个通 ......
基础 Golang Select

DFS分布式文件系统

一、GFS文件系统概述 1.GlusterFS简介GlusterFS 是一个开源的分布式文件系统。由存储服务器、客户端以及NFS/Samba 存储网关(可选,根据需要选择使用)组成。没有元数据服务器组件,这有助于提升整个系统的性能、可靠性和稳定性。MFS传统的分布式文件系统大多通过元服务器来存储元数 ......
分布式 文件 系统 DFS

Redis内存容量评估

业务侧申请redis服务器资源时,需要事先对redis容量做一个大致评估,之前的容量评估公式基本只是简单的 (key长度 value长度)* key个数,误差较大,后期经常需要进行缩扩容调整,因此提出一个较精确的redis容量评估模型就显得很有必要。 先来查看一个命令: info memory us ......
容量 内存 Redis

MongoDB 与 Redis 的比较

MongoDB 和 Redis 都是流行的 NoSQL 数据库系统,但它们的应用场景和特点不同,主要体现在以下几个方面: 1.数据类型:MongoDB 是面向文档的数据库系统,支持复杂的数据类型,如嵌套文档、数组等;Redis 则是一个基于内存的键值数据库系统,支持字符串、哈希表、列表、集合等简单数 ......
MongoDB Redis

2PC 3PC TCC等多种分布式事务解决方案分析对比

前言 本文分析多种分布式事务的解决方案2PC、3PC TCC、可靠消息服务、最大努力通知,事务消息等。讲述其执行流程、优缺点、适用场景以及引文具体实战例子。 名词解释 TM(transaction manager) 事务协调者 RM(resource manager) 资源管理者/事务参与者/业务服 ......
分布式 多种 解决方案 事务 方案

Springboot整合Seata实现分布式事务

前言 Seata 是一款开源的分布式事务解决方案,致力于提供高性能和简单易用的分布式事务服务。Seata 将为用户提供了 AT、TCC、SAGA 和 XA 事务模式,为用户打造一站式的分布式解决方案。 Seata 配置非常灵活,支持多种注册中心、配置来源(配置中心)和持久化方式。本文选择 eurek ......
分布式 Springboot 事务 Seata

Springboot整合TX-LCN实现分布式事务

前言 TX-LCN 是一款国产分布式事务协调框架,框架其本身并不操作事务,而是基于对事务的协调从而达到事务一致性的效果。 本文讲解如何使用 Springboot 作为基础,来配置使用 TX-LCN。 需要 MySQL 和 Redis。 名词解释 TM (Tx-Manager / Transactio ......
分布式 Springboot 事务 TX-LCN LCN

GFS分布式文件系统

一、文件系统简介1.1文件系统的组成接口:文件系统接口功能模块(管理、存储的工具):对对象管理里的软件集合对象及属性:(使用此文件系统的消费者)1.2文件系统的作用从系统角度来看,文件系统时对文件存储设备的空间进行组织和分配,负责文件存储并对存入的文件进行保护和检索的系统主要负责为用户建立文件、存入 ......
分布式 文件 系统 GFS

Redis 在消息队列中的应用

1.Redis 的 List 数据类型 1.1 List 数据类型的特点 List 列表是 Redis 提供的一种重要的数据类型。它是由若干个字符串元素组成的集合,并且每个字符串元素都是按照插入顺序排序的。也可以将列表理解为多个字符串组成的一个集合对象,并按照链表(Link List)的插入顺序排序 ......
队列 消息 Redis

redis主从同步、哨兵自动故障迁移具体过程解析

前言 本问阐述 Redis 主从同步、哨兵监控和故障迁移的过程,并通过各个服务日志加以验证。 准备工作 主从和哨兵安装见 安装过程。 为了方便通过日志观察同步过程,你可以在每个 Redis 和 Sentinel 配置文件中修改下面参数,实现前台运行并将日志输出到控制台。 # 这两个配置是为了实现前台 ......
主从 哨兵 故障 过程 redis

RedisTemplate Pipeline 封装和使用,优化Redis操作

前言 公司游戏项目服务端运行过程中,依赖 Redis 保存游戏过程数据。与客户端一次交互会对 Redis 进行大量的操作,在内网开发环境下测试,一次操作开销在 1-2 ms,建立连接和网络开销累积在一起大大降低了响应速度,这种场景下可以使用 Redis Pipeline 进行优化。 Redis Pi ......
RedisTemplate Pipeline Redis

Redis各种数据分片方式应用场景以及优缺点

前言 数据分片是指将数据按某种方式存储到不同的服务上来解决单机服务容量不足的问题。 本文围绕 Redis 讲述逻辑拆分、随机分配、哈希取模、一致性哈希等分片算法原理和使用场景。并在此基础上对比客户端分片、代理(Proxy) 和 Redis Cluster 各自的优缺点。 客户端分片 三种普通方式 逻 ......
优缺点 场景 方式 数据 Redis