分布式elasticsearch sqlserver logstash
ElasticSearch
环境准备 1.安装ElasticSearch # 创建网络 docker network create es-net docker network ls # 拉取镜像 docker pull elasticsearch:7.12.1 # 创建容器 docker run -d \ --name es ......
分布式通讯方式比较（RPC、RMI、JMS、WebService、TIBCO）
在分布式服务框架中，最基本的问题就是网络服务间的远程通讯。根据计算机网络通讯的基本原理，网络服务间的通讯就是将数据流从一台PC传输到另一台PC，这一切都是基于网络传输协议与网络IO实现的。网络传输技术发展至今，我们常用的协议都是基于Socket而扩展出的传输协议，主要有HTTP、TCP、UDP，网络 ......
ElasticSearch的安装和使用
ElasticSearch的安装和使用 elasticsearch安装步骤 1、下载elasticsearch-7.2.0并解压缩 将elasticsearch解压缩到 /usr/local tar -zxvf elasticsearch.tar.gz -C /usr/local/ 2、创建es的用 ......
Docker中使用elasticsearch
Docker中使用elasticsearch 1、docker拉取elasticsearch:7.17镜像 这里我们拉取7.17.10版本：docker pull elasticsearch:7.17.10 2、创建自己的配置文件并写入基础数据供后续挂载后直接启动使用 【非必选，在不指定挂载配置文件 ......
利用 docker 实现JMeter分布式压测
在工作中经常需要对一些关键接口做高QPS的压测，JMeter是由Java 语言开发，没创建一个线程（虚拟用户），JVM默认会为每个线程分配1M的堆栈内存空间。受限于单台试压机的配置很难实现太高的并发。所以，通过JMeter实现分布式，可以整合多台主机的硬件资源，实现同时对被测试接口进行压力测试。 ......
Sqlserver日志传送高可用搭建
1.原理 主数据库定时备份事务日志到共享文件夹，辅助数据库定时从共享文件夹把事务日志备份复制到本地文件夹中，辅助数据库定时将本地文件夹中的事务日志备份还原到数据库上。 2.修改服务启动账户 2.1.为什么修改 如果使用默认的NT SERVICE\MSSQLSERVER用户启动SQLServer，NT ......
ElasticSearch之cat allocation API
查看各节点上各个shard的硬件使用情况，命令样例如下： curl -X GET "https://localhost:9200/_cat/allocation?v=true&pretty" --cacert $ES_HOME/config/certs/http_ca.crt -u "elastic ......
ElasticSearch之系统关键配置
ElasticSearch之系统关键配置 集群名称 在配置文件$ES_HOME/config/elasticsearch.yml中指定，样例如下： cluster: name: logging-prod 或者 cluster.name: logging-prod 节点的名称 在配置文件$ES_HOM ......
ElasticSearch之Nodes info API
查看当前集群中各节点的信息，执行如下命令： curl -X GET "https://localhost:9200/_nodes?pretty" --cacert $ES_HOME/config/certs/http_ca.crt -u "elastic:ohCxPH=QBE+s5=*lo7F9" ......
ElasticSearch之Health API
查看当前集群全部健康指标的信息，执行如下命令： curl -X GET "https://localhost:9200/_health_report?pretty" --cacert $ES_HOME/config/certs/http_ca.crt -u "elastic:ohCxPH=QBE+s ......
ElasticSearch之cat aliases API
执行aliases命令，如下： curl -X GET "https://localhost:9200/_cat/aliases?pretty&v=true" --cacert $ES_HOME/config/certs/http_ca.crt -u "elastic:ohCxPH=QBE+s5=* ......
ElasticSearch的日志配置
ElasticSearch默认情况下使用Log4j2来记录日志，日志配置文件的路径为$ES_HOME/config/log4j2.properties，配置方法见Log4j2的官方文档。 参考path-settings，通过指定path.logs，可以指定日志文件的保存路径。 在日志配置文件$ES_ ......
第一单元 SqlServer 简介
1. 什么是数据库 数据库是结构化信息或数据（一般以电子形式存储在计算机系统中）的有组织的集合，通常由数据库管理系统 (DBMS) 来控制。在现实中，数据、DBMS 及关联应用一起被称为数据库系统，通常简称为数据库。 为了提高数据处理和查询效率，当今最常见的数据库通常以行和列的形式将数据存储在一系列 ......
Docker部署SQLServer
一、简介 美国Microsoft公司推出的一种关系型数据库系统。SQL Server是一个可扩展的、高性能的、为分布式客户机/服务器计算所设计的数据库管理系统，实现了与WindowsNT的有机结合，提供了基于事务的企业级信息管理系统方案。 二、搭建SQLServer 绿联 DX4600 为例，首先我 ......
【主流技术】详解 Spring Boot 2.7.x 集成 ElasticSearch7.x 全过程（二）
ElasticSearch 简称 es，是一个开源的高扩展的分布式全文检索引擎，目前最新版本已经到了8.11.x了。
它可以近乎实时的存储、检索数据，且其扩展性很好，是企业级应用中较为常见的检索技术。
下面主要记录学习 ElasticSearch7.x 的一些基本结构、在Spring Boot ... ......
二项分布
数学之美 今天你不看天气预报，不想昨天前天有没有下雨，不用任何知识去猜出明天是否会下雨，这是一个事件；如果你连续猜未来两天的，那就是两个事件，而且这两个事件是独立的 如果说第一天你猜中会下雨的概率为$P_0$，第二天你猜中下雨的概率为$P_1$，则两天都猜中下雨的概率$P_0$*\(P_1\)，如果 ......
聊聊分布式 SQL 数据库Doris(四)
FE层的架构都能在网上找到说明. 但BE层的架构模式、一致性保障、与FE层之间的请求逻辑，数据传输逻辑等，我个人暂时没有找到相应的博客说明这些的。当然这些是我个人在学习与使用Doris过程中，对内部交互逻辑与实现感兴趣才有这些疑问. 还好现在有GPT这类大模型，有了疑问，只要问题描述得当，大多可以解 ......
Welcome to YARP - 8.分布式跟踪
Welcome to YARP - 1.认识YARP并搭建反向代理服务 Welcome to YARP - 2.配置功能 2.1 - 配置文件（Configuration Files） 2.2 - 配置提供者（Configuration Providers） 2.3 - 配置过滤器（Configur ......
ElasticSearch之安装
参照Installing Elasticsearch，完成验证集群的部署。 操作步骤 下载软件包和摘要文件。 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.11.1-linux-x86_64.tar ......
keycloak~分布式缓存的使用
keycloak目前提供了几种分布式缓存，我们自己的缓存，如果希望是分布式的，可以将缓存添加到以下几个缓存里即可 actionTokens clientSessions loginFailures offlineClientSessions offlineSessions sessions work ......
聊聊分布式 SQL 数据库Doris(三)
详细内容阅读: Apache Doris 分区分桶新功能 与 数据划分. 在此基础上做总结与延伸. 在 Doris 的存储引擎规则: 表的数据是以分区为单位存储的，不指定分区创建时，默认就一个分区. 用户数据首先被划分成若干个分区（Partition），划分的规则通常是按照用户指定的分区列进行范围划 ......
为Oracle链接服务器使用分布式事务
1 现象 在SQL Server中创建指向Oracle的链接服务器，SQL语句在事务中向链接服务器插入数据。返回链接服务器无法启动分布式事务的报错。 2 解决 在Windows平台下，SQL Server依赖分布式事务协调器（MSDTC）来使用分布式事务，Oracle Client使用Oracle ......
分布式锁笔记
分布式锁 基于上课和教材（分布式中间件技术实战-java版-钟林森）的笔记 1 概述 因为集群、分布式部署的服务实例一般是部署在不同机器上的，在分布式系统架构下，此种资源共享将不再是传统的线程共享，而是跨JVM进程之间资源的共享了。因此，为了解决这种问题，我们引入了“分布式锁”。 1.1 锁机制 在 ......
码-分布式存储的研究现状及研究理论
1. 分布式存储的研究过程 分布式存储系统中最基本的两个性能要求是数据的可靠性和可用性。可靠性是指不会因为节点的失效而失效，可用性是指用户能从存储系统中获得所需的数据。分布式系统主要是依靠冗余来实现的。 冗余策略主要分为复制策略和纠删策略两种，只是相比于复制策略，纠删策略在存储上面的开销更小。 20 ......
聊聊分布式 SQL 数据库Doris(二)
Doris中，Leader节点与非Leader节点和Observer节点之间的元数据高可用和一致性，是通过bdbje(全称:Oracle Berkeley DB Java Edition)的一致性和高可用实现的。 元数据与同步流程 元数据主要存储四类数据： 用户数据信息. 包括数据库, 表的sche ......
开源数据收集引擎 Logstash 讲解和示例讲解
目录一、概述二、Logstash 架构二、ElasticSearch 部署1）部署 docker2）部署 docker-compose3）创建网络4）修改 Linux 句柄数和最大线程数5）下载部署包开始部署三、Logstash 部署与配置讲解1）下载Logstash安装包2）解压安装包文件3）不同 ......
分布式事务 Seata 集群搭建
Seata 是蚂蚁金服和阿里巴巴共同开源的一款分布式事务项目，致力于在微服务架构下提供高性能和简单易用的分布式事务解决方案。自诞生以来就备受国内开发人员推崇，在实际工作中使用者甚多。Seata 提供了四种不同的分布式事务解决方案： XA模式：强一致性分阶段事务模式，牺牲了一定的可用性，无业务侵入 T ......
sqlserver 获取磁盘信息，包括大小，使用率
SET NOCOUNT ON DECLARE @Result INT; DECLARE @objectInfo INT; DECLARE @DriveInfo CHAR(1); DECLARE @TotalSize VARCHAR(20); DECLARE @OutDrive INT; DECLAR ......
Elasticsearch 系列（二）- ES的基本概念
本章将和大家分享 Elasticsearch 的一些基本概念。话不多说，下面我们直接进入主题。 一、什么是Lucene Lucene是Apache的开源搜索引擎类库，提供了搜索引擎的核心API。 1、Lucene的优势：易扩展、高性能（基于倒排索引） 2、Lucene的缺点：只限于Java语言开发、 ......