分布式elasticsearch redis-cluster cluster
Linux的ElasticSearch安装部署
## 简介 [全文搜索](https://baike.baidu.com/item/全文搜索引擎)属于最常见的需求，开源的 [Elasticsearch](https://www.elastic.co/) （以下简称 es）是目前全文搜索引擎的首选。 它可以快速地储存、搜索和分析海量数据。维基百科、 ......
ElasticSearch置顶方案
最近系统有个需求，希望工作流的审批人被催办后就要置顶在最前面， 工作流列表我是用es的，一开始想用pinned实现，但用pinned的话，每页都会置顶在前面，我的需求只是想让他优先排在前面，翻页后正常显示 后面找到这个，通过把匹配到数据的分数提高，然后用sort进行排序，就能实现我的需求了 GET ......
学好Elasticsearch系列-脚本查询
本文已收录至 Github，推荐阅读 👉 [Java 随想录](https://github.com/ZhengShuHai/JavaRecord) 微信公众号：[Java 随想录](https://mmbiz.qpic.cn/mmbiz_jpg/jC8rtGdWScMuzzTENRgicfnr9 ......
学好Elasticsearch系列-索引的批量操作
本文已收录至 Github，推荐阅读 👉 [Java 随想录](https://github.com/ZhengShuHai/JavaRecord) 微信公众号：[Java 随想录](https://mmbiz.qpic.cn/mmbiz_jpg/jC8rtGdWScMuzzTENRgicfnr9 ......
分布式事务的华丽进化
说到分布式事务，大家并不陌生。在实际工作中，用得比较多的还是柔性分布式事务，今天主要把在工作中运用到的几种柔性分布式事务的场景及实现方式做一个简单介绍，也可以看做是柔性分布式事务的一个演进过程。 ......
分布式事务解决方案-2PC, 3PC
在分布式系统中，每一个机器节点虽然都能明确的知道自己在事务操作中的结果是成功或失败，但无法直接获取其他节点的操作结果。因此在分布式环境中，为了保持事务的 ACID 特性，就需要增加一个“协调者”来管理其他节点（“参与者”）事务的提交和回滚。基于这个思想，衍生出二阶段提交 2PC 和三阶段提交 3PC ......
大数据之分布式
1. 什么是计算、分布式计算？ 计算：对数据进行处理，使用统计分析等手段得到需要的结果 分布式计算：多台服务器协同工作，共同完成一个计算任务 2. 分布式计算常见的2种工作模式 分散->汇总 （MapReduce就是这种模式） 中心调度->步骤执行 （大数据体系的Spark、Flink等是这种模式） ......
Elasticsearch在项目中的使用
一.mysql和es的比较 1.mysql适合存储海量的数据，但是某些情况下的查询效率过低。 正常可以通过添加索引等加快查询速度，但是模糊查询的时候效率很低，会触发全局扫描 SELECT * FROM product WHERE title like '%优惠券%' 2.基于 Lucene 引擎构建 ......
Amazon EMR Hudi 性能调优——Clustering
随着数据体量的日益增长，人们对 Hudi 的查询性能也提出更多要求，除了 Parquet 存储格式本来的性能优势之外，还希望 Hudi 能够提供更多的性能优化的技术途径，尤其当对 Hudi 表进行高并发的写入，产生了大量的小文件之后，又需要使用 Presto/Trino 对 Hudi 表进行高吞吐的 ......
Web自动化_分布式测试Grid入门
要在多台计算机上并⾏运⾏测试吗? 那么, Grid正是为你准备的。 分布式测试Grid环境： 1.需要JDK支持，最新的版本需要11版本，老版本的1.8selenium server jar包下载地址：https://github.com/SeleniumHQ/selenium/releases/t ......
分布式事务
整理自b站 1.什么事分布式事务 2.请描述二阶段提交的基本过程，具体的应用 3.2PC协议中，如何处理协调者和参与者之间的通信故障，请列举一些解决方案 超时机制 心跳机制 事务管理器故障->备份 消息队列 3. 3PC讲一下 预提交第二阶段 将数据库的redolog和undolog记录到事务日志里 ......
分布式事务
注解： @GlobalTransactional 手写： GlobalTransaction tx = GlobalTransactionContext.getCurrentOrCreate(); try { tx.begin(); tx.commit();//不能提交 }catch (Except ......
cookie和session的区别，分布式环境怎么保存用户状态
1、cookie数据存放在客户的浏览器上，session数据放在服务器上。 2、cookie不是很安全，别人可以分析存放在本地的COOKIE并进行COOKIE欺骗，考虑到安全应当使用session。 3、session会在一定时间内保存在服务器上。当访问增多，会比较占用你服务器的性能，考虑到减轻服务 ......
分布式系统架构
分布式系统的架构思路 一、前言 在计算机领域，当单机性能达到瓶颈时，有两种方式可以解决性能问题，一是堆硬件，进一步提升配置，二是分布式，水平扩展。当然，两者都是一样的烧钱。今天聊聊我所理解的分布式系统的架构思路。 二、分布式系统的两种方式 平时接触到的分布式系统有很多种，比如分布式文件系统，分布式数 ......
ElasticSearch批量重建索引
# ElasticSearch批量重建索引 > ver 7.16.2 ES的设计目标是针对检索的, 对修改的支持不够好, 特别是对数据结构的修改, 和关系数据库不一样, 修改数据结构后, 索引的历史数据不会改变, 如果需要历史数据也应用修改后的结构和设置, 需要重建索引(Reindex). 重建索引 ......
Linux：CAP定理——分布式计算
一、起源与发展 CAP（Consistency、Availability、Partition Tolerance）（一致性、可用性、分区容忍性）也叫Brewer定理，由Eric Brewer于2000年提出。 2002年，Seth Gilbert和Nancy Lynch用严谨的数学推理证明了CAP猜 ......
读发布！设计与部署稳定的分布式系统（第2版）笔记31_版本问题
 # 1. 在软件与外部环境之间的许多交汇点上，版本控制基本上处于混乱状态 ## 1.1. 不应该为了更新自身系统 ......
计算机程序内存分布（内存分布情况、五大分区）
计算机程序内存分布（栈、堆、BSS、数据区、代码段） [toc] # 存储器 - RAM:随机存储器,也叫主存(内存)。它可以随时读写，而且速度很快，通常作为操作系统或其他正在运行中的程序的临时数据存储媒介。 - ROM: 只读存储器 CPU、RAM、ROM之间的关系图  # 1. 部署行为是系统生命的重要组成部分 ## 1.1. 只编写代码是不够的，只要没有在生产环境中运行，一切都 ......
幂律分布简介
幂律分布与其他类型的分布的不同之处在于： 1. 分布形式：幂律分布的形式为P(x)∝x^(-α)，其中α是指数。与幂律分布不同，其他类型的分布可能具有不同的形式，如正态分布、泊松分布、指数分布等。 2. 尾部特征：幂律分布的尾部非常重，即存在极端值。相比之下，其他类型的分布的尾部可能较轻，即极端值的 ......
Spring Data Elasticsearch 4.x官网文档的摘录
#引用来源： > https://docs.spring.io/spring-data/elasticsearch/docs/4.4.14/reference/html/#preface.metadata #为什么要做这种 Copy 最近项目中也在做 es 的接入，一方面是学习过程的记录，另一方面也 ......
公钥 & 数字证书 & 分布式身份DID (上)
## 主页 - 个人微信公众号：密码应用技术实战 - 个人博客园首页：https://www.cnblogs.com/informatics/ ## 引言 密码技术中最令人兴奋的 ## 密码算法简介 | 类别 | 算法 | 描述 | | | | | | 对称加密算法 | AES (Advanced ......
分布式TCC事务相关问题
TCC分别是Try,Confirm,Cancel，分为三阶段。 1. 第一阶段Try：业务检查及资源预留，尝试事务操作但不提交。 2. 第二阶段Confirm：事务操作提交。 3. 第三阶段Cancel：如果Try阶段发现事务操作无法完成 或者 Confirm阶段出现错误，会撤销已经完成的操作，回滚 ......
【Elasticsearch】索引结构
Elasticsearch索引主要结构有mapping和setting。 Mapping： 索引的Mapping可以类比关系型数据库中的Schema，主要包含： 定义索引中字段名称 定义字段数据类型，如：字符串、数字、boolean等 可对字段设置倒排索引相关配置，如是否需要分词，使用什么分词器 注 ......
Elasticsearch 快照管理
准备共享目录 mkdir /data/esbackupchown -R elasticsearch:elasticsearch /data/esbackupmount -t nfs 192.168.1.110:/data/esbackup /data/esbackupvi elasticsearch ......
Elasticsearch之Doc Value与Fielddata
1、Doc Values 倒排索引在搜索包含指定term的doc时非常高效，但是在相反的操作时表现很差：查询一个文档中包含哪些term。具体来说，倒排索引在搜索时最为高效，但在排序、聚合等与指定filed相关的操作时效率低下，需要用doc_values。 倒排索引将term映射到包含它们的doc，而 ......
【Elasticsearch】总结
什么是Elasticsearch？Elasticsearch 是基于 Lucene 的 Restful 的分布式实时全文搜索引擎，每个字段都被索引并可被搜索，可以快速存储、搜索、分析海量的数据。全文检索是指对每一个词建立一个索引，指明该词在文章中出现的次数和位置。当查询时，根据事先建立的索引进行查找 ......