分布式elasticsearch redis-cluster cluster
Kafka的分布式架构与高可用性
导语 一开始我们就说过Kafka是一款开源的高吞吐、分布式的消息队列系统，那么今天我们就来说下它的分布式架构和高可用性以及双/多中心部署。 Kafka 体系架构简介 以下是 Kafka 的软件架构，整个 Kafka 体系结构由 Producer、Consumer、Broker、ZooKeeper 组 ......
Seata解决分布式事务
### 简介 Seata 是阿里开源的一款开源的分布式事务解决方案，致力于提供高性能和简单易用的分布式事务服务。 ### 初始化数据库 创建 seata 库，初始化脚本如下 ```sql -- The script used when storeMode is 'db' -- the table t ......
快速搭建 Seata Service 分布式事务
# 快速搭建 Seata Service 分布式事务 Seata 是一款开源的分布式事务解决方案，致力于在微服务架构下提供高性能和简单易用的分布式事务服务。 [Seata官网](https://seata.io/zh-cn/index.html) [下载地址](https://seata.io/zh ......
【升职加薪秘籍】我在服务监控方面的实践(8)-elasticsearch 性能监控与分析手段
> 大家好，我是蓝胖子，之前讲了mysql，redis中间件的监控，今天我们再来看看另一个基础组件elasticsearch，如何对它进行监控，当你思考如何对一个组件进行监控时，四大黄金指标会告诉你答案，我们同样会从四大黄金指标给出的维度进行分析。 针对es做的性能分析，用四大黄金指标原则，我们可以 ......
ElasticSearch 重建索引 _reindex
前言何为重建索引在原index的基础上copy一份数据在新index（字段相同，类型可不相同）。 为什么有重建索引的需求当分词插件变更，数据类型改变等等。（当然也可以直接重跑一份数据） 如何重建索引请借步参阅官网文档https://www.elastic.co/guide/en/elasticsea ......
理解 Databend Cluster key 原理及使用
 Databend Cluster Key 是指 Databend 可以按声明的 key 排序存储，主要用于用户对时间响应比较高，同时愿意 ......
分布式深度学习技术概述
分布式深度学习技术有哪些？ 分布式深度学习技术是指将深度学习模型的训练过程分布在多个计算资源上进行加速的技术。这样可以充分利用集群中的多个GPU、CPU或者多台计算机，加快深度学习模型的训练过程，提高训练效率。以下是一些常见的分布式深度学习技术： 数据并行：将训练数据划分成多个子集，每个计算节点使用 ......
PyTorch多卡分布式训练DDP单机多卡
PyTorch多卡分布式训练：DistributedDataParallel (DDP) 简要分析 前言 因为课题组发的卡还没有下来，先向导师问了实验室的两张卡借用。之前都是单卡训练模型，正好在这个机会实践以下单机多卡训练模型的方法。关于 DDP 网上有很多资料，但都比较零碎（有些博客的代码甚至没办 ......
R语言GARCH族模型：正态分布、t、GED分布EGARCH、TGARCH的VaR分析股票指数|附代码数据
全文链接：http://tecdat.cn/?p=31023 最近我们被客户要求撰写关于GARCH族模型的研究报告，包括一些图形和统计输出。 如何构建合适的模型以恰当的方法对风险进行测量是当前金融研究领域的一个热门话题 （ 点击文末“阅读原文”获取完整代码数据******** ）。 VaR方法作为当 ......
ElasticSearch玩耍
现在是大数据的时代，大家对于ElasticSearch 简称 es这块应该并不陌生，但是说到es就要讲讲 Lucene 和 es 的前世今生 了。 Lucene 和 es 的前世今生 Elasticsearch 是基于 Lucene 实现的。Lucene 是一个开源的全文检索引擎库，它可以用于构建各 ......
TIDB - 分布式数据库
# TIDB（一） ## 重点 ### TIDB核心 - [x] 数据存储-RocksDB - [ ] Raft 协议 选举 数据同步 - [x] MVCC - [x] 表数据与kv映射关系 - [x] 索引数据与kv 映射关系 - [x] 元数据和sql 层计算 - [ ] PD调度 - [ ] ......
Netcore CAP分布式事务实践
Netcore CAP分布式事务实践 1、 分布式事务解决方案之可靠消息最终一致性 可靠消息最终一致性方案是指当事务发起方执行完成本地事务后并发出一条消息，事务参与方(消息消费者)一定能够接收消息并处理事务成功，此方案强调的是只要消息发给事务参与方最终事务要达到一致。 事务发起方（消息生产方）将消息 ......
redis分布式锁，setnx+lua脚本的java实现
本文是基于redis缓存实现分布式锁，其中使用了setnx命令加锁，expire命令设置过期时间并lua脚本保证事务一致性。Java实现部分基于JIMDB提供的接口。 ......
Kafka - 不仅是消息引擎，还是分布式流处理平台
如果你通读全篇文字但只能记住一句话，我希望你记住的就是这句 Apache Kafka 是消息引擎系统，也是一个分布式流处理平台（Distributed Streaming Platform） 作为流处理平台，Kafka 与其他主流大数据流式计算框架相比，优势在哪里呢？我能想到的有两点。 第一点是更容 ......
第十章 Seata--分布式事务
10.1 分布式事务基础 10.1.1 事务 事务指的就是一个操作单元，在这个操作单元中的所有操作最终要保持一致的行为，要么所有操作 都成功，要么所有的操作都被撤销。简单地说，事务提供一种“要么什么都不做，要么做全套”机制。 10.1.2 本地事物 本地事物其实可以认为是数据库提供的事务机制。说到数 ......
Elasticsearch，Logstash和Kibana安装部署（ELK Stack）
前言 当今数字化时代，信息的快速增长使得各类组织和企业面临着海量数据的处理和分析挑战。在这样的背景下，ELK Stack（Elasticsearch、Logstash 和 Kibana）作为一套强大的开源工具组合，成为了解决数据管理、搜索和可视化的首选方案。无论是监控日志、实时数据分析，还是构建仪表 ......
TDSQL-PG 数据重分布
记录一次数据重分布造成的数据库抖动。 何为数据重分布: select * from t1,t2 where t1.id1=t2.id2; 若id1,id2都为分片键,在做算子下推到dn时，由于分片键是hash算法，所以id1，id2相同的值都在同一个dn上。每个dn可以独立完成数据过滤。dn计算的数 ......
20.集群因子(Clustering Factor)
集群因子用于判断索引回表需要消耗的物理I/O次数。 这里在测试表test上创建一个索引： create index idx_id on test(object_id); select owner, index_name, clustering_factor from dba_indexes wher ......
分布式锁
2023.8.27 1.zookeeper实现，基于临时节点实现——临时节点唯一 创建临时节点 关闭的时候调用close方法即可 2.zookeeper获取临时节点之后一直不关闭，也就是一直不释放锁怎么办 设定超时时间 3.羊群效应——比喻一个服务成功获取、释放节点时，其他需要锁的服务需要被唤醒、竞 ......
elasticsearch-dump使用指南
# 文档 镜像地址：https://hub.docker.com/r/elasticdump/elasticsearch-dump/ # 数据在线导出导入 ```css docker run --rm -ti elasticdump/elasticsearch-dump \ --input=http ......
Elasticsearch性能优化
```bash GET _search { "query": { "match_all": {} } } GET _cat/indices GET _cat/shards PUT /server-2023.02.09/_settings { "number_of_replicas": 0 } PUT ......
分布式数据库CAP原理
看完了阳哥的redis视频课，理解了MySQL和NoSQL的区别，下面来总结一下 传统的ACID分别是什么A (Atomicity) 原子性C (Consistency) 一致性I (Isolation) 独立性D (Durability) 持久性关系型数据库遵循ACID规则，事务在英文中是tran ......
玩转 PI 系列-看起来像服务器的 ARM 开发板矩阵-Firefly Cluster Server
## 前言 基于我个人的工作内容和兴趣，想要在家里搞一套服务器集群，用于容器/K8s 等方案的测试验证。 考虑过使用二手服务器，比如 Dell R730, 还搞了一套配置清单，如下： * Dell R730 * 3.5 尺寸规格硬盘 * CPU: 2686v4*2 * 内存：16g*8 * 存储：4 ......
分布式锁、分布式ID
# 分布式锁、分布式ID https://www.cnblogs.com/liuqingzheng/p/11080501.html ```python # 分布式系统中加锁-->悲观锁 -mysql 行锁 性能不高 -需要性能更高的分布式锁 # python 线程锁 # 分布式锁需要的条件 1、在分 ......
Elasticsearch 保姆级入门篇
Elasticsearch 是一个分布式的、面向生产规模工作负载优化的搜索引擎。 Kibana 可以将 Elasticsearch 中的数据转化为直观的图表、图形和仪表盘。 这篇文章，您将学习本地安装 Elasticsearch 和 Kibana，以及使用开发工具/ Java SDK 创建索引和搜索 ......
redis中的分布式锁
# Redis当中的分布式锁问题： ## 1.redis中key设置不当会造成的问题： 我们所熟知的redis中的三大问题：缓存穿透，缓存雪崩与缓存击穿。其中缓存击穿就是数据在某一时间点会被超高并发量的访问，如果在此时key恰好过期，那么所有的访问便会全部落到db上面，会带给数据库不小的压力，严重时 ......
分布式事务解决方案——Seata
## 分布式事务解决方案——Seata ### Seata是什么？ Seata是一款开源的==分布式事务==解决方案，致力于提供高性能和简单易用的分布式事务服务。Seata 将为用户提供了 AT、TCC、SAGA 和 XA 事务模式，为用户打造一站式的分布式解决方案。 ### Seata三大角色 在 ......
VictoriaLogs：一款超低占用的 ElasticSearch 替代方案
 # 背景 前段时间我们想实现 `Pulsar` 消息的追踪流程，追踪实现的效果图如下： ![image.png](https://s2.loli.net/2023/08/ ......
实现作业调度和任务分发的工具 - 分布式任务调度系统
分布式任务调度系统是一种用于实现作业调度和任务分发的工具，它能够帮助我们高效地处理大规模的任务，并将其分发到多台计算机节点上进行并行处理。本文将介绍分布式任务调度系统的基本概念、实现原理以及相关的技术细节。 ## 什么是分布式任务调度系统？ 分布式任务调度系统是指一种能够将任务分发到多个计算机节点上 ......