分布式elasticsearch redis-cluster cluster
快速开始ElasticSearch
1.什么是ElasticSearch? Elasticsearch是基于Lucene的搜索引擎。它提供了一个分布式，支持多租户的全文搜索引擎，它具有HTTP Web界面和无模式JSON文档。 Elasticsearch是用Java开发的，根据Apache许可条款作为开源发布。 来自维基百科的解释 我 ......
Rabbit-分布式事务实例 20230406
一、生产、消费者 流程 1、生产者(下单后生产 务必成功) 派单队列:order_platonn_queue 交换机:order_exchange_name 绑交换机路由键:orderRoutingKey 生产者=>采用confirm，确认应答机制 Ack模式:成功 失败则重试 2、消费者(plat ......
分布式技术剖析
随着企业数字化进程的进一步深入，企业为了解决大数据的“4个V”问题，往往需要构建多个不同技术栈的大数据平台，其中不乏会使用到分布式相关的存储、计算、资源管理技术。分布式系统的出现解决了单机系统无法解决的成本、效率和高可用问题。那么什么是分布式技术？如何发展至今？主要包括哪几方面的技术？本文将对分布式 ......
Hadoop完全分布式集群搭建
0 准备工作 首先需要准备三台虚拟机，这里准备的是hadoop1，hadoop1，hadoop3，虚拟机机要求如下： 配置了静态IP。 关闭了防火墙的。 虚拟机下载安装：https://www.cnblogs.com/lgjb/p/17292698.html 1 配置ssh免密登录 配置ssh免密登 ......
分布式与微服务之间的关系
根据设计期的架构思想和运行期的不同结构分为： 面向服务的架构 分布式服务架构 微服务架构 1、面向服务架构。以业务服务的角度和服务总线的方式，一般是webservice与ESB，考虑系统架构和企业IT治理； 2、分布式服务架构。基于去中心化的分布式服务框架与技术，考虑系统架构和服务治理； 3、微服务 ......
redis集群，模块启动报错：PoolException: Returned connection io.lettuce.core.cluster.StatefulRedisClusterConnectionImpl@49bd0985 was either previously returned or does not belong to this connection provider
redis 3主3从的配置 启动正常，客户端命令使用正常，突然今天开发测试环境 有些模块报错了： org.springframework.data.redis.connection.PoolException: Returned connection io.lettuce.core.cluster. ......
新一代分布式任务调度框架
本文已经收录到Github仓库，该仓库包含计算机基础、Java基础、多线程、JVM、数据库、Redis、Spring、Mybatis、SpringMVC、SpringBoot、分布式、微服务、设计模式、架构、校招社招分享等核心知识点，欢迎star~ Github地址 如果访问不了Github，可以访 ......
GFS分布式文件系统
GFS分布式文件系统 1．GlusterFS简介 GlusterFS (Gluster File System) 是一个开源的分布式文件系统，主要由 Z RESEARCH 公司负责开发。GlusterFS 是 Scale-Out 存储解决方案 Gluster 的核心，具有强大的横向扩展能力， 通过扩 ......
DFS分布式文件系统
一、GFS文件系统概述 1．GlusterFS简介GlusterFS 是一个开源的分布式文件系统。由存储服务器、客户端以及NFS/Samba 存储网关（可选，根据需要选择使用）组成。没有元数据服务器组件，这有助于提升整个系统的性能、可靠性和稳定性。MFS传统的分布式文件系统大多通过元服务器来存储元数 ......
2PC 3PC TCC等多种分布式事务解决方案分析对比
前言 本文分析多种分布式事务的解决方案2PC、3PC TCC、可靠消息服务、最大努力通知，事务消息等。讲述其执行流程、优缺点、适用场景以及引文具体实战例子。 名词解释 TM(transaction manager) 事务协调者 RM(resource manager) 资源管理者/事务参与者/业务服 ......
Springboot整合Seata实现分布式事务
前言 Seata 是一款开源的分布式事务解决方案，致力于提供高性能和简单易用的分布式事务服务。Seata 将为用户提供了 AT、TCC、SAGA 和 XA 事务模式，为用户打造一站式的分布式解决方案。 Seata 配置非常灵活，支持多种注册中心、配置来源（配置中心）和持久化方式。本文选择 eurek ......
Springboot整合TX-LCN实现分布式事务
前言 TX-LCN 是一款国产分布式事务协调框架，框架其本身并不操作事务，而是基于对事务的协调从而达到事务一致性的效果。 本文讲解如何使用 Springboot 作为基础，来配置使用 TX-LCN。 需要 MySQL 和 Redis。 名词解释 TM (Tx-Manager / Transactio ......
GFS分布式文件系统
一、文件系统简介1.1文件系统的组成接口：文件系统接口功能模块（管理、存储的工具）：对对象管理里的软件集合对象及属性：（使用此文件系统的消费者）1.2文件系统的作用从系统角度来看，文件系统时对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索的系统主要负责为用户建立文件、存入 ......
2021-12-30-Docker启动MySQL、MongoDB、Redis、Elasticsearch、Grafana，数据库
layout: post cid: 5 title: Docker启动MySQL、MongoDB、Redis、Elasticsearch、Grafana，数据库 slug: 5 date: 2021/12/30 16:57:00 updated: 2022/03/25 15:53:08 status ......
GFS分布式文件系统
一、文件系统简介1.1文件系统的组成接口：文件系统接口功能模块（管理、存储的工具）：对对象管理里的软件集合对象及属性：（使用此文件系统的消费者）1.2文件系统的作用从系统角度来看，文件系统时对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索的系统主要负责为用户建立文件、存入 ......
MAST20006 离散分布
MAST20006/MAST90057 – Module 2. Discrete DistributionsModule 2. Discrete DistributionsChapter 2 in the textbookSophie Hautphenne and Feng LiuThe Unive ......
GFS分布式文件系统
一、GlusterFS 概述 1.1 GlusterFS简介 GlusterFS是一个开源的分布式文件系统。 由存储服务器、客户端以及NFS/Samba存储网关(可选，根据需要选择使用)组成。 没有元数据服务器组件，这有助于提升整个系统的性能、可靠性和稳定性。 传统的分布式文件系统大多通过元服务器来 ......
在Linux部署Redis Cluster集群
前言 本文讲述在 Linux 系统部署 Redis Cluster 实现数据分片的具体步骤。 请参考 Redis 单机部署 下载编译。 Redis Cluster是什么？ Redis Cluster 是官方提供的一种用数据分片来实现横向扩容的解决方案，由一个或多个 Redis 服务组成一个无主集群。 ......
[安乐椅#15] 杨辉三角质数分布性质
性质内容 在杨辉三角中，质数仅存在于第2层。 性质证明 | $C_n^m$ | \frac{0}{1} | 1 | 2 | 3 | 4 | 5 | 6 | 7 | | : : | : : | : : | : : | : : | : : | : : | : : | : : | | 0| | | | | ......
分布式锁和事务
###1.分布式锁的实现方式？ 1.基于数据库实现 -mysql行锁 2.基于zookeeper -CP模式 3.基于Redis setnx实现 -AP模式 4.Redis框架 Redission，RedisLock 要求：保证一致性 zk实现分布式锁 保证可用性 redis实现分布式锁 2.Zoo ......
jmeter分布式测试安装部署步骤
一、下载linux版本的jdk 注：下载的jdk和jmeter要与window的jdk和jmeter一致 下载地址：https://www.oracle.com/java/technologies/downloads/#java11 二、在虚拟机中使用su root 超级管理员的账号进行操作，在/u ......
redis cluster 集群畅谈三 之 水平扩容、slave自动化迁移【转】
上一篇 redis cluster 集群畅谈二 ， 主要讲解 实验多master写入、读写分离、实验自动故障切换（高可用性），那么本篇我们就来聊了聊redis cluster 水平扩容以及自动化 slave 迁移。 redis repliction 主从架构，一主多从更多的是为了提高 读QPS 。而 ......
ElasticSearch常用api文档
搜索引擎实现 实现步骤 搜集 例如google、baidu都是根据爬虫爬取网页数据 分析 根据爬取的数据分词解析，建立临时索引等 索引 通过分析阶段产生的临时索引构建倒排索引，用于查询 查询 响应用户请求，根据倒排索引获取相关网页信息，计算权重等 倒排索引 正排索引：文档中包含了哪些单词 倒排索引： ......
ElasticSearch 7.x (一 ~ 二)
ElasticSearch 7.x 一、 ElasticSearch 概述 1.1 ElasticSearch 是什么 Elasticsearch 是一个分布式、RESTful 风格的 搜索和数据分析引擎，能够解决不断涌现出的各种用例。作为 Elastic Stack 的核心，Elasticsear ......
Redis 使用Redisson+Rlock实现分布式锁
使用setnx+Lua脚本实现分布式锁会有一个问题：如果操作共享资源的时间大于过期时间，就会出现锁提前过期的问题，进而导致分布式锁直接失效。如果锁的超时时间设置过长，又会影响到性能。 如果操作共享资源的操作还未完成，锁过期时间能够自己续期就好了 对这个问题 Redisson 提供了现成的解决方案。 ......
Jmeter搭建分布式压测环境
最近在做性能测试，本来以为一台压力机就够啦，但是在压测一个查询接口的时候，当TPS达到500多的时候就开始报错，经过定位是压力机出现啦瓶颈，于是决定对压力机做一下分布式，经过调试环境部署成功，再次压测时候问题解决。下面记录一下部署分布式环境的过程。 使用的工具及版本： JDK：1.8.0_211 J ......
Redis-cluster调整主从关系
一、概述 Redis集群创建后，可能会出现互为主从关系的节点从属于同一台服务器的情况。在此种情况下，若服务器故障宕机或需要停机维护，互为主从关系的节点同时停止运行，导致redis集群暂时失去一部分slot插槽。此时，redis集群为fail状态，对其进行的数据读写操作均无法正常进行。为避免此种情况的 ......
Redis哨兵和cluster集群
1、什么是哨兵模式哨兵模式：可以自动切换解决单点故障，但是不能负载均衡，存储能力受限制。 哨兵核心功能：在主从复制的基础上，实现了主节点的自动故障转移 2、哨兵的作用监控：监控主节点和从节点是否在正常运行 故障自动转移：当主节点不能正常工作时，哨兵会开始自动故障转移操作，它会将失效主节点的其中一个从 ......
分布式系统——分布式ID方案
分布式ID介绍 在分布式系统中，我们经常需要生成全局唯一的标识符，例如订单号，用户id，消息id等。这些标识符通常被称为分布式id。分布式id有以下几个常见的要求： 全局唯一：不同的节点或服务不能生成重复的id。 高性能：生成id的速度要快，不能成为系统的瓶颈。 低延迟：生成id的过程要尽可能简单， ......