分布式elasticsearch redis-cluster cluster
中间件 ZK分布式专题与Dubbo微服务入门 4-5 set与delete命令的使用
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12701 1 重点关注 1.1 如何添加watch stat /imooc watch 不存在的节点，可以用该命令，多用于新增 get /imooc watch 修改删除节点等，可以用该命令 z ......
面试官：分布式锁最终解决方案是RedLock吗？为什么？
RedLock 是 Redis 分布式锁的一种实现方案，由 Redis 的作者 Salvatore Sanfilippo 提出。 RedLock 算法旨在解决单个 Redis 实例作为分布式锁时可能出现的单点故障问题，通过在多个独立运行的 Redis 实例上同时获取锁的方式来提高锁服务的可用性和安全 ......
中间件 ZK分布式专题与Dubbo微服务入门 4-3 set与delete命令的使用
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12699 1 重点关注 1.1 zk常用命令行 修改 不带版本号 启动zk服务端和客户端（必须启动客户端，不然set和get命令没有） ./zkServer.sh start ./zkCli.s ......
MySQL - 分布式部署&主从复制&读写分离
Step1：基础环境准备 虚拟机环境：VMware workstation 服务器信息： 主机名 IP 操作系统 node01 192.168.1.131 CentOS Linux release 7.9.2009 (Core) node02 192.168.1.132 CentOS Linux r ......
R语言GARCH族模型：正态分布、t、GED分布EGARCH、TGARCH的VaR分析股票指数|附代码数据
全文链接：http://tecdat.cn/?p=31023 最近我们被客户要求撰写关于GARCH族模型的研究报告，包括一些图形和统计输出。 如何构建合适的模型以恰当的方法对风险进行测量是当前金融研究领域的一个热门话题 （ 点击文末“阅读原文”获取完整代码数据******** ）。 VaR方法作为当 ......
ElasticSearch
狂神聊ElasticSearch 版本：ElasticSearch 7.6.1（全网最新了）！ 6.X 和7.X的区别十分大，6.X的API（原生API，RestFul高级！） 我们要讲解什么？ SQL：like%狂神说%，如果是大数据，就十分慢！索引！ ElasticSearch：搜索！（百度、g ......
docker安装elasticsearch
docker安装elasticsearch 启动前配置linux的jvm最大映射内存 sudo sysctl -w vm.max_map_count=262144 1. 创建名为elastic的网络环境 docker network create elastic 2. 获取elasticsearch ......
seata 1.8.0 can not get cluster name in registry config 'service.vgroupMapping.default_tx_group', please make sure registry config correct
* [调式源码解决 seata 报错 can not get cluster name 问题 - 掘金](https://juejin.cn/post/7203377276557885498) seata: enabled: true application-id: ${spring.applica ......
二进制包部署elasticsearch+kibana
二进制包部署elasticsearch+kibana 一、下载二进制包 1、根据需求下载，版本号最好是一样，这里使用8.0.0版本。 ES：https://elastic.co/downloads/elasticsearch kibana：https://elastic.co/downloads/k ......
使用docker搭建deepspeed多机多卡分布式微调大模型环境
前置环境：两台可以互通的centos服务器（服务器1、服务器2），docker，NVIDIA驱动 docker创建overlay共享网络 1）选用服务器1作为manage节点进行初始化，执行docker swarm init Swarm initialized: current node (ly4d ......
Elasticsearch存储目录结构深入详解
在本文中，我们将研究Elasticsearch的各个部分写入数据目录的文件。我们将查看节点，索引和分片级文件，并简要说明其内容，以便了解Elasticsearch写入磁盘的数据。 1、从Elasticsearch路径说起 Elasticsearch配置了多个路径： path.home：运行Elast ......
Elasticsearch底层系列之Shard Allocation机制（转）
转自：https://cloud.tencent.com/developer/article/1361266 背景 Elasticsearch由一些Elasticsearch进程(Node)组成集群，用来存放索引(Index)。为了存放数据量很大的索引，Elasticsearch将Index切分成多 ......
聚合查询越来越慢？——详解Elasticsearch的Global Ordinals与High Cardinality
转自：https://blog.csdn.net/zwgdft/article/details/83215977 Elasticsearch中的概念很多，本文将从笔者在实践过程中遇到的问题出发，逐步详细介绍 Global Ordinals 和 High Cardinality ，这也是笔者的认知过程 ......
Elasticsearch7.X Scripting脚本使用详解（转）
转自：https://cloud.tencent.com/developer/article/1507715 0、题记 除了官方文档，其他能找到的介绍Elasticsearch脚本（Scripting）的资料少之又少。 一方面：性能问题。 官方文档性能优化中明确指出使用脚本会导致性能低； 另一方面： ......
Day1 - 大规模Elasticsearch集群管理心得（转）
转自：https://elasticsearch.cn/article/110 【携程旅行网 吴晓刚】 ElasticSearch目前在互联网公司主要用于两种应用场景，其一是用于构建业务的搜索功能模块且多是垂直领域的搜索，数据量级一般在千万至数十亿这个级别；其二用于大规模数据的实时OLAP，经典的如 ......
中间件 ZK分布式专题与Dubbo微服务入门 4-2 session的基本原理与create命令的使用
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12697 1 重点关注 1.1 watcher常用使用场景 集群中统一资源配置 2 课程内容 3 Coding ......
分布式事务管理
南航航班号sno，日期sdate，国航航班号zno，日期zdate，姓名uname，身份证号uid，用户账号uno，电商账号bno 根代理ROOT begin transcation; input(sno, sdate, zno, zdate, uname, uid, uno, bno)； EXEC ......
中间件 ZK分布式专题与Dubbo微服务入门 4-7 watcher常用使用场景
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12703 1 重点关注 1.1 watcher常用使用场景 集群中统一资源配置 2 课程内容 3 Coding ......
中间件 ZK分布式专题与Dubbo微服务入门 4-4 理解watcher机制
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12700 1 重点关注 1.1 理解watcher机制 针对每个节点的操作，都会有一个监督者 wathcer 当监控的某个对象 ( znode) 发生了变化，则触发watcher事件 zk中的w ......
分布式架构设计思路和要点
分布式架构设计 设计分布式架构时，需要考虑以下几个关键思路和要点： 弹性和可伸缩性：分布式架构应具备弹性和可伸缩性，能够根据负载情况自动调整资源分配。这可以通过采用水平扩展和自动化调度等技术实现。 容错和高可用性：分布式系统应具备容错和高可用性能力，即使部分组件或节点发生故障，整个系统仍能正常运行。 ......
elasticsearch oom问题分析
背景 线上发现elasticsearch集群状态red，并且有个es节点jvm内存使用不断升高，直到gc后依然内存不够使用，服务停止。查看日志，elasticsearch出现OOM报错。 [2023-12-06T08:21:26,706][ERROR][o.e.b.ElasticsearchUnca ......
Elasticsearch专栏 集群管理
Elasticsearch 集群管理 简介 Elasticsearch 是一个开源的分布式搜索和分析引擎，用于处理大规模的结构化和非结构化数据。集群管理是确保 Elasticsearch 在生产环境中高效运行的关键任务之一。 集群基础知识 节点（Nodes）： Elasticsearch 集群由一个 ......
Elasticsearch专栏 基础知识
Elasticsearch 基础知识 1. 什么是 Elasticsearch？ Elasticsearch 是一个开源、分布式、实时搜索和分析引擎，建立在 Apache Lucene 基础之上。它提供了一个强大的 RESTful API，用于进行复杂的搜索和分析操作。 2. 核心概念 2.1 节点 ......
Elasticsearch专栏 集群分片管理
Elasticsearch 集群分片管理 简介 Elasticsearch 是一个分布式搜索和分析引擎，数据在集群中被分割成多个分片，以实现高性能和可伸缩性。在管理 Elasticsearch 集群时，分片的合理分配和监控是至关重要的。 分片基础知识 主分片（Primary Shard）： 每个索引 ......
Elasticsearch专栏 集群安全认证
Elasticsearch 集群安全认证 简介 Elasticsearch 的安全认证功能用于确保只有经过授权的用户才能访问集群和执行特定操作。这有助于保护集群中的数据和资源。 安全认证组件 1. X-Pack Security 插件 X-Pack 是 Elastic 提供的官方插件，包含了 Ela ......
分布式锁
分布式锁 在多线程环境中，如果多个线程同时访问共享资源（例如商品库存、外卖订单），会发生数据竞争，可能会导致出现脏数据或者系统问题，威胁到程序的正常运行。 为什么需要分布式锁? 举个例子，假设现在有 100 个用户参与某个限时秒杀活动，每位用户限购 1 件商品，且商品的数量只有 3 个。如果不对共享 ......
elasticsearch集群red恢复损坏的索引
背景 客户磁盘损坏，修复磁盘后，重启机器，发现elasticsearch启动成功，ES状态正常green，但是历史数据都没有加载进，查看ES存储数据目录，发现数据还在。 解决方案 首先，需要确认indices目录下的lucene 索引正常。需要关闭ES（实际操作索引处于close状态也可以）。 # ......
9解决elasticsearch深度分页问题
前面说到，分页可以使用from和size参数，类似于mysql的分页offset和limit。但是如果数据量比较大时，elasticsearch会对分页做出限制，因为此时会比较消耗性能。 为什么要限制 分页的时候，elasticsearch会根据查询条件到每个分片取出数据来，然后再由coordina ......
7.elasticsearch重建索引
什么时候需要重建索引 索引的mappings发生变更 索引的setting发生变更 集群内，集群间，需要做数据迁移 update by query 在现有索引重建 比如需要给一个text新增一个子字段，用english分词器。那么新添加的数据会被索引，之前的数据不会被索引。此时可以用_update_ ......
4.elasticsearch中查询条件
目录一、URI查询指定字段、泛查询分组和phraseBool条件must条件范围查询通配符查询正则表达式模糊匹配与近似查询二、RequestBody&DSLignore_unavailableprofileexplainqueryfrom、sizesort_sourcescript_fieldsma ......