分布式elasticsearch sqlserver logstash
第三章 分布式配置中心
1. 简介 为什么需要分布式配置中心 分布式配置中心是为了解决在分布式系统中进行配置管理的需求而引入的。在传统的单体应用中，通常使用配置文件集中管理系统的配置信息。然而，在分布式系统中，由于系统规模变大、节点众多，并且可能部署在不同的服务器上，传统的配置文件方式会面临一些挑战。 首先，配置文件的修改 ......
使用分布式锁实现定时任务的精确调度
使用分布式锁实现定时任务的精确调度 在分布式系统中，实现定时任务的精确调度是一项具有挑战性的任务。由于分布式环境中存在多个节点，传统的定时任务可能会出现并发执行、重复执行或者错过执行的问题。为了解决这些问题，我们可以使用分布式锁来实现定时任务的精确调度。 准备工作 在开始之前，我们需要准备以下环境和 ......
ElasticSearch之Index modules
索引的参数，分为两类： 静态参数，仅支持在创建索引时指定，或者关闭索引后指定。 动态参数，允许在索引工作期间指定或者修改。 静态参数 index.number_of_shards 默认值为1。 本参数用于控制主分片的数量，仅支持在创建时指定，对于已关闭的索引，修改本参数不会生效。 es.index. ......
elasticsearch get查询方式
api： （elasticsearch版本7.3） #通过id查询 GET <index>/_doc/<_id> #判断是否存在 HEAD <index>/_doc/<_id> #通过id查询 GET <index>/_source/<_id> #判断是否存在 HEAD <index>/_sourc ......
elasticsearch 文档删除操作：delete和delete_by_query
api： （elasticsearch版本7.3） #删除指定id的文档 DELETE /<index>/_doc/<_id> #按查询条件删除 POST /<index>/_delete_by_query 1. DELETE /<index>/_doc/<_id> 删除指定id的文档 #测试--删 ......
elasticsearch 文档更新操作：update和update_by_query
API： （elasticsearch版本7.3） POST /<index>/_update/<_id> POST /<index>/_update_by_query 1. POST /<index>/_update/<_id> 支持脚本，可以更新、删除或跳过修改文档。 更新文档部分内容，传递部分 ......
elasticsearch---修改文档
修改有两种方式： 全量修改：直接覆盖原来的文档 增量修改：修改文档中的部分字段 全量修改是覆盖原来的文档，其本质是： 根据指定的id删除文档 新增一个相同id的文档 注意：如果根据id删除时，id不存在，第二步的新增也会执行，也就从修改变成了新增操作了。 增量修改 增量修改是只修改指定id匹配的文档 ......
elasticsearch--修改索引库
倒排索引结构虽然不复杂，但是一旦数据结构改变（比如改变了分词器），就需要重新创建倒排索引，这简直是灾难。因此索引库一旦创建，无法修改mapping。 虽然无法修改mapping中已有的字段，但是却允许添加新的字段到mapping中，因为不会对倒排索引产生影响。 PUT /索引库名/_mapping ......
MongoDB中的分布式集群架构
MongoDB 中的分布式集群架构 前言 Replica Set 副本集模式 副本集写和读的特性 Sharding 分片模式 分片的优势 MongoDB 分片的组件 分片键 chunk 是什么 分片的算法 哈希分片 范围分片 总结 参考 MongoDB 中的分布式集群架构 前言 前面我们了解了 Mo ......
SQLServer 添加数据文件
限制：1.backup语句正在运行时，不能添加或删除文件2.可以为每个数据库指定最多32767个文件和32767个文件组 一、新增文件之前查看 use test select file_id, file_guid, type, type_desc, data_space_id, name, phys ......
SQLServer删除数据库特别耗时
在老库删除数据库的时候，如果选中到了选项"Delete backup and Restore History Information for databases"。发现删除操作要耗费很久的时间，甚至好几天。 查看一下正在执行的会话信息，看看数据库都在做啥： SELECT s.session_id , ......
Windows电脑上的多开工具与分布式计算的关系
在Windows电脑上，多开工具和分布式计算之间存在着一定的关系。多开工具是一类软件，可以帮助用户在一台电脑上同时打开多个相同或不同的应用程序实例，从而提高工作效率。而分布式计算则是利用多台计算机的闲置资源来共同完成复杂的计算任务，通过将任务分发到各个计算节点上并将计算结果汇总，从而加快计算速度和提 ......
Redis分布式锁的扩展方法
分布式锁代码 #region 秒杀业务测试 private static readonly string redisConnectionStr = "127.0.0.1:6379,connectTimeout=5000,allowAdmin=false,defaultDatabase=1"; /// ......
Win11无法启动SqlServer服务问题，SqlServer服务启动1067错误
Win11无法启动SqlServer服务问题，SqlServer服务启动1067错误 因为SQL Server当前支持 512 字节和 4 KB 的扇区存储大小。所以需要将SqlServer安装到支持4KB的磁盘。 以管理员权限运行PowerShell，执行fsutil fsinfo sectori ......
ElasticSearch安装
目录ES的安装与启动Linux系统环境准备修改虚拟内存空间大小修改最大文件描述符数量及最大线程数创建用户与密码ES的安装与配置 ES的安装与启动 Linux系统环境准备 修改虚拟内存空间大小 查询系统默认虚拟内存大小 sysctl -a | grep vm.max_map_count 发现系统提供的 ......
elasticsearch 索引命令：文档创建和修改
命令： #指定id创建/更新文档 PUT /<index>/_doc/<_id> #创建文档，自动生成id POST /<index>/_doc/ #创建文档，如果id存在会报错 PUT /<index>/_create/<_id> #创建文档，如果id存在会报错 POST /<index>/_cr ......
分布式存储
分布式存储 分布式存储的思想是什么 分布式存储的思想是将数据分散存储在多个节点上，以提高数据的可靠性、可扩展性和性能。它基于以下几个核心思想： 数据分散：将数据切分成多个块或对象，并将它们存储在不同的节点上。这样可以避免单点故障，提高系统的可靠性。 冗余备份：为了保证数据的可靠性，每个数据块通常会有 ......
SpringCloud Seata【解决分布式事务的问题】安装
SpringCloud Seata【解决分布式事务的问题】安装 1. 问题引出 1.1 单机单库（多表）处理事务示意图 1.2 分布式微服务架构下的数据库事务示意图 图片梳理：用户购买商品的业务逻辑。整个业务逻辑由3个微服务提供支持： 仓库服务：对给定商品 扣除商品数量 订单服务：根据采购需求创建订 ......
.net core 分布式锁 之 基于 Redis 的 RedLock
使用场景 分布式锁的业务场景涉及到并发控制、任务调度、缓存更新、分布式事务和防止重复操作等方面，能够保证分布式系统的数据一致性和正确性。 并发控制：当多个线程或进程同时访问共享资源时，使用分布式锁可以确保只有一个线程或进程能够访问该资源，避免数据竞争和并发冲突。 分布式任务调度：在分布式系统中，多个 ......
PHP连接SQLSERVER及中文乱码问题
PHP连接SQLSERVER 1、PHP 5.3及以后版本不再支持mssql模块，应使用SQLSRV或PDO_SQLSRV； 2、下载 PHP 驱动程序。 http://msdn.microsoft.com/en-us/sqlserver/ff657782.aspx 内含Windows平台各种版本扩 ......
探索服务网格与 OpenTelemetry 的协同之分布式跟踪
在上一篇文章中，介绍了 如何在 k8s 中无侵入安装 Otel 探针 并实现了无侵入（某些语言还无法实现，比如 Go 的 eBPF 对内核的苛刻要求）的分布式跟踪。 这篇文章发出后有读者评论 javaagent 的“无侵入”一说，这里有必要解释下。“无侵入”主要指的是不需要修改应用程序的业务逻辑代码 ......
Spring Cloud Seata系列：基于AT模式实现分布式事务
目录前提Seata的AT模型流程梳理一阶段：二阶段-回滚二阶段-提交脏写问题写隔离读隔离优缺点AT与XA的区别实现AT模式 https://seata.io/zh-cn/docs/dev/mode/at-mode AT模式同样是分阶段提交的事务模型，不过缺弥补了XA模型中资源锁定周期过长的缺陷。 前 ......
R语言贝叶斯Metropolis-Hastings Gibbs 吉布斯采样器估计变点指数分布分析泊松过程车站等待时间|附代码数据
原文链接：http://tecdat.cn/?p=26578 原文出处：拓端数据部落公众号 最近我们被客户要求撰写关于吉布斯采样器的研究报告，包括一些图形和统计输出。 指数分布是泊松过程中事件之间时间的概率分布，因此它用于预测到下一个事件的等待时间，例如，您需要在公共汽车站等待的时间，直到下一班车到 ......
GO TCP代理(可代理SQLSERVER\MYSQL\ORCALE)
用nginx代理不知道为什么内网能用,外网用不了,改用go写个代理临时用下,直接上代码 package main import ( "fmt" "io" "log" "net" ) var addr string = "0.0.0.0:51415" //代理服务端口 var dest_addr st ......
elasticsearch 聚合查询
1.查看一天时间内，ip的去重总数 post hqbuy_event_tracking-*/_search { "query":{ "range": { "create_timestamp": { "gte": 1702310400, "lt": 1702396800 } } }, "size":0 ......
SQLServer数据库JDBC连接串参数的简单学习
SQLServer数据库JDBC连接串参数的简单学习 背景 前段时间一直跟同事一起处理SQLServer 比其他数据库的deadlock更多的问题. 涉及到了几个驱动的参数. 想着问题基本上告一段落, 将这一块的情况总结一下. 便于后续遇到问题时的快速处理. 关于参数 现阶段的字符连接串为: jdb ......
Sqlserver 多行合并成一行
select ID,Name, TEST = STUFF((SELECT ';'+xx FROM emps where ID=t.ID FOR XML PATH('')),1,1,'') from emps t group by ID,Name ......
Sqlserver镜像高可用搭建
1.安装前准备 系统相同 数据库软件版本补丁相同 数据库目录相同 数据库恢复模式为完整 主备可以ping通，可以相互通过SMSS登录对方 2.创建证书 2.1.主服务器和镜像服务器创建主密钥 USE master GO CREATE MASTER KEY ENCRYPTION BY PASSWORD ......
select for update在springboot里实现分布式锁
// mapper，注意，这里的参数最好就是主键或者唯一键，否则产生的是表锁 @Select("<script> select* from foo where id = #{id} for update</script>") Foo selectForUpdateById(@Param("id") ......
elasticsearch安装-集群
下载安装包 国内镜像，速度非常快 https://mirrors.huaweicloud.com/elasticsearch/ https://mirrors.huaweicloud.com/kibana/ wget https://mirrors.huaweicloud.com/elasticse ......