分布式elasticsearch sqlserver logstash
分布式事务-Seata解决方案
一、定义 Seata解决方案是分布式事务解决方案之一。常用的分布式事务解决方案有：2PC,3PC,TCC,SAGA(seata)、本地消息表、MQ消息事务、最大努力通知。 Seata是一款分布式解决方案，致力于提供高性能和简单易用的分布式事务服务。提供事务模式有：AT,TCC,SAGA,XA。其中A ......
分布式主键
核心概念 :: ShardingSphere https://shardingsphere.apache.org/document/current/cn/features/sharding/concept/ 分布式主键 传统数据库软件开发中，主键自动生成技术是基本需求。而各个数据库对于该需求也提供了 ......
一次elasticsearch 查询瞬间超时案例分析
问题背景# 在晚上9点左右，刚从外面逛街回到家，就接到了电话报警(幸好前不久刚好把电话报警机制加上，不然可能我就要去洗澡了👻)，电话告警告知线上业务存在大量请求失败的情况。于是赶紧打开电脑，排查了起来。 错误日志我们都是直接打到了钉钉上，发现大量的报警都是elasticsearch 访问超时发生的 ......
【解决方案】MySQL5.7 百万数据迁移到 ElasticSearch7.x 的思考
在日常项目开发中，可能会遇到使用 ES 做关键词搜索的场景，但是一般来说业务数据是不会直接通过 CRUD 写进 ES 的。
因为这可能违背了 ES 是用来查询的初衷，数据持久化的事情可以交给数据库来做。那么，这里就有一个显而易见的问题：ES 里的数据从哪里来？
本文介绍的就是如何将 MySQL ... ......
.NET 6 使用Nlog 记录日志到本地并写入SQLserver数据库
1. 安装Nlog 对应Nuget包版本 NLog：5.0.4 NLog.Database：5.0.4 NLog.Web.AspNetCore：5.1.4 Microsoft.Data.SqlClient： 5.0.0 （写入SQLServer数据库用的） 2. 建表SQL CREATE TABLE ......
Zookeeper——分布式一致性协议及Leader选举原理
一、引言 随着业务的增长，单体架构发展为分布式架构，大大提升了业务的处理能力，但同时也带来了很多单体架构不存在的问题，如： 各节点之间网络通信的异常以及因其引起的脑裂问题（网络分区）。 引出“三态”。在单体架构中只会存在“成功”或“失败”两种结果，但是在分布式架构中由于网络异常将会出现“未知”的结果 ......
使用SQL查询elasticsearch
目录SQL REST APIkibana DevToolsJava其他 elasticsearch Query DSL 太难写了，所以我放弃啦🤣 SQL REST API kibana DevTools 直接POST /_sql端点即可调试。示例: POST /_sql?format=csv { ......
使用分布式事务 Seata 的 TCC 模式
Seata 的 TCC 模式需要通过人工编码来实现数据的回滚恢复，有点麻烦，但是性能最高。TCC 是 3 个方法的首字母缩写，即 Try 方法、Confirm 方法、Cancel 方法。Try 方法进行资源的检查和冻结，Confirm 方法是当所有事务都成功后调用的方法，Cancel 方法是当整体事 ......
Seata 分布式事务
Seata 分布式事务 #Seata中间件# Seata是 2019 年 1 月份蚂蚁金服和阿里巴巴共同开源的分布式事务解决方案。致力于提供高性能和简单易用的分布式事务服务，为用户打造一站式的分布式解决方案。 官网地址：http://seata.io/ CAP定理和Base理论 这两个在前面弄N ......
elasticsearch聚合查询实践
目录概念聚合分类聚合语法聚合作用范围及排序聚合原理及 terms 精准度聚合实验桶聚合指标聚合Pipeline 聚合实践一：多商户数据权限聚合分页实践二：多维度嵌套聚合实践三：删除 ES 索引重复数据附：实验环境 概念 用于聚合的字段必须是 exact value，即doc_value=true。分 ......
StackGres 数据库平台工程，使用 Citus + Patroni 创建生产级高可用分布式 PostgreSQL 分片集群
系列 StackGres, 可私有部署的云原生数据库平台工程 StackGres 数据库平台工程功能介绍与快速上手 StackGres 1.6 数据库平台工程集群配置管理(K8S Pods/PostgreSQL/PgBouncer) StackGres 1.6 数据库平台工程，集群高可用(Patro ......
SQLServer 执行计划的简单学习和与类型转换的影响
SQLServer 执行计划的简单学习和与类型转换的影响 背景 最近一直在看SQLServer数据库 索引.存储.还有profiler的使用 并且用到了 deadlock graph 但是感觉还是不太深入 数据库的查询计划学习的还是太少. 正好同事说到了jdbc里面的 :sendStringPara ......
mysql与elasticsearch
索引（Index），就是相同类型的文档的集合。 例如： 所有用户文档，就可以组织在一起，称为用户的索引； 所有商品的文档，可以组织在一起，称为商品的索引； 所有订单的文档，可以组织在一起，称为订单的索引； 数据库的表会有约束信息，用来定义表的结构、字段的名称、类型等信息。因此，索引库中就有映射（ma ......
Prometheus Dashboard for elasticsearch exporter
prometheus-community/elasticsearch_exporter: Elasticsearch stats exporter for Prometheus Releases · prometheus-community/elasticsearch_exporter Dashbo ......
HydroOJ 踩坑指南（1）狡猾的分布式官方文档
本系列旨在记录使用HydroOJ时的一些坑点，更全的说明文档请查看官方文档。 欢迎联系本人 QQ 补充: 2422609586. HydroOJ 官方QQ群: 1085853538. 入门第一坑：官方文档不止一处！ 都说学习项目要先认真读文档，HydroOJ的文档使用了分布式阅读系统，并异地多中心部 ......
SQLServer解决deadlock问题的一个场景
SQLServer解决deadlock问题的一个场景 背景 公司产品出现过很多次dead lock 跟研发讨论了很久, 都没有具体的解决思路 但是这边知道了一个SQLServer数据库上面计划100%出现问题的场景 然后想着跟之前微软case一起处理一下 看能否解决这个问题. 整体思路 1. 修改默 ......
使用Slurm集群进行分布式图计算：对Github网络影响力的系统分析
本文在华为云弹性云服务器集群中部署Slurm作业调度系统，并运行针对Github协作网络影响力分析的分布式图计算应用程序。 ......
【elasticsearch】Elasticsearch相关文档
【参考文档】 一篇文章让你学会Elasticsearch中的查询 ElasticSearch常用查询操作 Elasticsearch增、删、改、查操作深入详解 ElasticSearch (ES从入门到精通一篇就够了) Elasticsearch基础及入门 Elasticsearch：Geo Poi ......
使用分布式事务 Seata 的 AT 模式
有了上篇博客实现 XA 模式的基础，本篇博客在实现 AT 模式时，不需要修改任何代码，只需要增加一张数据库表，修改以下 application.yml 配置即可实现。AT 模式也是分两个阶段提交的事务模型，它缺弥补了 XA 模型中资源锁定周期过长的问题。 其实现的两个阶段的工作原理如下： 第一阶段注 ......
ES 什么是elasticsearch
ES 是 elasticsearch 的简称，elasticsearch 是一款非常强大的开源分布式搜索引擎，可以帮助我们从海量数据中快速找到需要的内容。 elasticsearch 的底层实现 是一个名为 Lucene 的技术。而 Lucene 中的核心技术就是倒排索引 Lucene 的优势：易扩 ......
分布式协同（万字长文）
分布式协同 分布式协同，也叫分布式协调，是在计算机网络中，不同的硬件或软件组件完成各自的任务，然后通过协同工作来解决问题。 在分布式系统中，不同的节点需要进行信息的交换，以达到一致的状态。这个过程就需要分布式协调。例如，我们要保证在分布式系统中的所有节点上的数据是最新的，就需要用到分布式协调。 分布 ......
分布式事务~seata的使用
springcloud-nacos-seata 分布式事务组件seata的使用demo，AT模式，集成nacos、springboot、springcloud、mybatis-plus，数据库采用mysql demo中使用的相关版本号，具体请看代码。如果搭建个人demo不成功，验证是否是由版本导致， ......
【Spring】SpringBoot3+ES（Elasticsearch）の環境構築
参考URL： https://blog.csdn.net/cicada_smile/article/details/132308849 https://www.cnblogs.com/hualess/p/11540477.html Elasticsearchは、オープンソースの分散型検索エンジンであ ......
一次elasticsearch 查询瞬间超时案例分析
大家好，我是蓝胖子，有段时间没有做性能分析案例讲解了，正好前两天碰到一个性能问题，今天就来对它探讨探讨。 问题背景 在晚上9点左右，刚从外面逛街回到家，就接到了电话报警(幸好前不久刚好把电话报警机制加上，不然可能我就要去洗澡了👻)，电话告警告知线上业务存在大量请求失败的情况。于是赶紧打开电脑，排查 ......
Laxcus分布式操作系统的产品规划和发展阶段
又是一位网友的提问，把回答贴出来给大家看看，欢迎大家在下方留言交流。 问: 关注你们很久了，我想问一问，Laxcus分布式操作系统有没有具体的产品规划，如果有是什么，打算怎么做？你们的主要着眼点在哪里？目前Laxcus分布式操作系统发展到什么阶段了？ 答： 感谢关注！Laxcus做为全球第一款纯粹的 ......
SQLServer 性能报表的学习与使用
SQLServer 性能报表的学习与使用 背景 前面连续学习了 SQLServer如何优化等事宜. 但是一开始总是么有找到对应的问题解决思路 周天时想到了 SQLSERVER的MDW工具 但是并没有找到一个合适的处理方式和方法. 今天突然发现可以使用部分核心报表功能进行问题定位. 所以想着总结一下, ......
SQLServer数据库优化学习-总结
SQLServer数据库优化学习-总结 背景 各种能力都需要提升. 最近总是遇到SQLServer的问题 趁着周末进行一下学习与提高. 安装与优化 1. 数据库必须安装 64位, 不要安装成32位的版本 2. 数据库的序列号要使用enterprise core 的版本, 不要使用enterprise ......
SQLServer2019及SQLServer FC日志收集
日志收集： 1. SQL Server 错误日志 SQL Server 2019: <Data Drive>:\Program Files\Microsoft SQL Server\MSSQL15.<instance name>\MSSQL\Log 以上路径可能根据您的实例名称不同而有所不同。请找到 ......
使用分布式事务 Seata 的 XA 模式
上篇博客已经搭建了分布式事务 Seata 的集群，本篇博客主要介绍如何使用 Seata 的 XA 模式。 XA 模式的规范是 X/Open 组织定义的分布式事务处理（DTP，Distributed Transaction Processing）标准，XA 模式规范描述了全局的 TM 与局部的 RM ......
SQLServer性能优化之二
SQLServer性能优化之二 背景 优化了机器的硬件配置之后性能好了很多 但是偶尔还是会出现阻塞. SQL总是奇奇怪怪的. 其实第一天时就感觉可能是索引存在问题. 但是dbcc 重建所有数据库的索引太慢了. 所以作罢了, 从HDD传输到SSD后大部分功能已经可以用了 以为问题就此解决, 但是跟踪发 ......