集群elasticsearch策略
elasticsearch之exists查询
一、exists查询简介 elastic search提供了exists查询，用以返回字段存在值的记录，默认情况下只有字段的值为null或者[]的时候，elasticsearch才会认为字段不存在； exists查询的形式如下，其中field用于指定要查询的字段名字； { "query": { "e ......
elasticsearch之search template
一、search template简介 elasticsearch提供了search template功能，其会在实际执行查询之前，对search template进行预处理并将参数填充到template中。 elasticsearch主要提供了两个API来支持search template _sc ......
Redis之key的淘汰策略
淘汰策略概述 redis作为缓存使用时，在添加新数据的同时自动清理旧的数据。这种行为在开发者社区众所周知，也是流行的memcached系统的默认行为。 redis中使用的LRU淘汰算法是一种近似LRU的算法。 淘汰策略 针对淘汰策略，redis有一下几种配置方案： 1、noeviction：当触发内 ......
Windows Server上部署IoTDB 集群
本文是参考官方的 IoTDB 集群版（1.0.0）的安装及启动教程：https://iotdb.apache.org/zh/UserGuide/V1.0.x/Cluster/Cluster-Setup.html ，在Windows Server 2019上部署集群的实践记录。前置检查使用微软发布的O ......
使用Logstash工具导入sqlserver数据到elasticSearch及elk分布式日志中心
首先记下这个笔记，Logstash工具导入sqlserver数据到elasticSearch。 因为logstash使用java写的，我本地开发是win11，所以javade jdk必须要安装。具体安装不介绍了，就是网上下个java8，不要去官网要账号什么的,不是java开发不太折腾，目前只用jav ......
Keepalived高可用集群部署
KeepAlived KeepAlived安装 1.yum源安装 yum install keepalived 2.官网源码包编译 KeepAlived官网提供可编译源码包，可直接下载。 官网地址： https://www.keepalived.org/ 官网提供的软件包，解压编译安装即可。 Kee ......
elasticsearch实现基于拼音搜索
1、背景 一般情况下，有些搜索需求是需要根据拼音和中文来搜索的，那么在elasticsearch中是如何来实现基于拼音来搜索的呢？可以通过elasticsearch-analysis-pinyin分析器来实现。 2、安装拼音分词器 # 进入 es 的插件目录 cd /usr/local/es/ela ......
elasticsearch实现简单的脚本排序(script sort)
1、背景 我有一堆学生数据，其中湖北省的学生需要排在所有数据的最前面。其余省正序排序，对于同一个省的数据，按照年龄倒序排序。 2、分析 对于上方的排序需求，湖北省的学生数据需要排在前端，但是湖北省并不是一个字段，那么这个时候改如何实现呢？对于这种场景我们很容易就想到需要脚本script sort来实 ......
ActiveMQ 常见集群模式
Master Slave 架构模式 这种模式是基于文件共享锁的高可用集群，个人理解其实是一种 Failover 模式，可以是一主一从，也可以是一主两从。 本文使用 Docker 搭建一个主从模式的 ActiveMQ 5.8.0 集群，一个主节点，两个从节点。 ActiveMQ 镜像的创建可以参考 构 ......
对 Pulsar 集群的压测与优化
前言 这段时间在做 MQ（Pulsar）相关的治理工作，其中一个部分内容关于消息队列的升级，比如： 一键创建一个测试集群。 运行一批测试用例，覆盖我们线上使用到的功能，并输出测试报告。 模拟压测，输出测试结果。 本质目的就是想直到新版本升级过程中和升级后对现有业务是否存在影响。 一键创建集群和执行测 ......
Java中Elasticsearch 实现分页方式(三种方式)
目录 ES 简介 ES 的特点： 一、from + size 浅分页 二、scroll 深分页 scroll删除 三、search_after 深分页 ES 简介 Elasticsearch 是一个基于 Lucene 实现的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于 RESTful ......
ElasticSearch必知必会-进阶篇
京东物流：康睿 姚再毅 李振 刘斌 王北永 说明：以下全部均基于elasticsearch8.1 版本 一.跨集群检索 - ccr 官网文档地址： https://www.elastic.co/guide/en/elasticsearch/reference/8.1/modules-cross-cl ......
Curve 文件存储在 Elasticsearch 冷热数据存储中的应用实践
Elasticsearch在生产环境中有广泛的应用，本文介绍一种方法，基于网易数帆开源的Curve文件存储，实现Elasticsearch存储成本、性能、容量和运维方面的显著提升。 ES 使用 CurveFS 的四大收益 1.CurveFS提供的成本优势 为了高可靠，ES如果使用本地盘的话一般会使用 ......
【Redis场景2】缓存更新策略(双写一致)
【Redis场景2】缓存更新策略(双写一致)，涉及缓存更新策略，数据库缓存不一致方案，异步重试等；每1~2周学习整理redis中的知识点和场景实现，希望有所输入输出，每天进步一点点。 ......
【环境搭建】RocketMQ集群搭建
环境搭建第9篇rocketmq集群文章，方便学习中复现和使用，时间宝贵，踩坑艰难。包含集群搭建，管理台搭建，springboot本地请求等。 ......
elasticsearch之单请求多查询
一、需要解决的问题 有的时候我们需要同时执行多个查询，并且需要得到每个单独查询的搜索结果，elasticsearch提供了multi search此需求的支持； 二、elasticsearch multi search简介 elasticsearch提供了multi search api来支持一个请 ......
微服务12：流量策略
★微服务系列 微服务1：微服务及其演进史 微服务2：微服务全景架构 微服务3：微服务拆分策略 微服务4：服务注册与发现 微服务5：服务注册与发现（实践篇） 微服务6：通信之网关 微服务7：通信之RPC 微服务8：通信之RPC实践篇（附源码） 微服务9：服务治理来保证高可用 微服务10：系统服务熔断、 ......
docker搭建Elasticsearch、Kibana、Logstash 同步mysql数据到ES
一、前言 在数据量大的企业级实践中，Elasticsearch显得非常常见，特别是数据表超过千万级后，无论怎么优化，还是有点力不从心！使用中，最首先的问题就是怎么把千万级数据同步到Elasticsearch中，在一些开源框架中知道了，有专门进行同步的！那就是Logstash 。在思考，同步完怎么查看 ......
Springboot整合策略模式概念-＞使用场景-＞优缺点-＞企业级实战
一、前言 策略模式可能是在工作中使用最多的，也是在面试中最常提到的，代码重构和优化的必备！ 小编之前也是一直说，其实没有真正的实战；最近有了机会实战了一下，来分享一下使用心得和在企业级的使用！ 二、策略模式 1. 什么是策略模式 策略模式，英文全称是 Strategy Design Pattern。 ......
openEuler 部署Kubernetes（K8s）集群
openEuler官方文档部署K8s集群比较复杂，并且网上相关资料较少，本文是通过实践与测试整理的 openEuler 22.03 部署 Kubernetes 1.20.2 集群操作方法。 ......
Centos下部署最后一版支持Docker的k8s集群
部署版本 首先要确定部署的版本 查询Kubernetes对Docker支持的情况 kubernetes/dependencies.yaml at master · kubernetes/kubernetes (github.com) 查询Kubernetes Dashboard对Kubernetes ......
JAVA中使用最广泛的本地缓存？Ehcache的自信从何而来3 —— 本地缓存变身分布式集群缓存，打破本地缓存天花板
作为JAVA本地缓存综合实力天花板的Ehcache，还提供了对于集群能力的支持，这也使其不仅仅是个单机缓存，更是一个分布式缓存。本篇一起探讨Ehcache的各种集群方案。 ......
elasticsearch之metric聚合
1、背景 此篇文章简单的记录一下 elasticsearch的metric聚合操作。比如求 平均值、最大值、最小值、求和、总计、去重总计等。 2、准备数据 2.1 准备mapping PUT /index_person { "settings": { "number_of_shards": 1 }, ......
（四）elasticsearch 源码之索引流程分析
1.概览 前面我们讨论了es是如何启动，本文研究下es是如何索引文档的。 下面是启动流程图，我们按照流程图的顺序依次描述。 其中主要类的关系如下: 2. 索引流程 (primary) 我们用postman发送请求，创建一个文档 我们发送的是http请求，es也有一套http请求处理逻辑，和sprin ......
设计模式实践---策略模式实现对大量计算公式的处理
业务流程： 1.用户根据需要选择的实验方案，每个实验方案对应一种计算公式，计算公式例如下面这种 2.将带有实验数据的PDF文件上传到特定位置，对PDF文件进行解析后将数据数据保存到数据库。 3.遍历所有方案，对每种方案使用特定的公式对数据库中的数据进行 重构前实现： 遍历方案，使用IF语句对使用的公 ......
Elasticsearch查询及聚合类DSL语句宝典
随着使用es场景的增多，工作当中避免不了去使用es进行数据的存储，在数据存储到es当中以后就需要使用DSL语句进行数据的查询、聚合等操作，DSL对SE的意义就像SQL对MySQL一样，学会如何编写查询语句决定了后期是否能完全驾驭ES，所以至关重要，本专题主要是分享常用的DSL语句，拿来即用。 ......
基于云基础设施快速部署 RocketMQ 5.0 集群
如何解决在云基础设施上部署 RocketMQ 时面临多节点部署带来的高操作成本等诸多挑战？快来了解 RocketMQ Operator 是怎样支撑 RocketMQ 集群在云基础设施上的自动化运维与管理吧！ ......
Ubuntu 22.04 搭建K8s集群
本文基于Mac平台和Parallels软件，在其中创建三个Ubuntu系统，搭建了一个3个节点（1个master和2个Node）的K8s集群。 ......
作者推荐 | 【分布式技术专题】「架构设计方案」图解学习法总结集群模式下的各种软负载均衡策略实现及原理分析
通常来说，负载均衡分为硬件负载均衡及软件负载均衡。硬件负载均衡，顾名思义，在服务器节点之间安装专门的硬件进行负载均衡的工作，F5或者A10便为其中的佼佼者。软件负载均衡则是通过在服务器上安装的特定的负载均衡软件或是自带负载均衡模块完成对请求的分配派发。例如，平时我们使用的Nginx或者API-Gat... ......