分布式elasticsearch redis-cluster cluster
【分布式锁】
【引入】 【1】为什么要使用分布式锁 我们在开发应用的时候，如果需要对某一个共享变量进行多线程同步访问的时候，可以使用我们学到的锁进行处理，并且可以完美的运行，毫无Bug！ 注意这是单机应用，后来业务发展，需要做集群，一个应用需要部署到几台机器上然后做负载均衡，大致如下图： 上图可以看到 变量A存在 ......
ElasticSearch+Kibana on K8s 讲解与实战操作（版本7.17.3）
目录一、概述二、ElasticSearch 节点类型与作用三、K8s 集群部署四、ElasticSearch on K8s 开始部署1）下载安装包2）构建镜像3）修改yaml编排4）开始部署5）测试6）elasticsearch-head5）卸载五、Kibana 编排部署1）下载安装包2）构建镜像3 ......
14、liunx环境下部署分布式压测集群
一、java环境安装与配置 官网下载jdk-15.0.1_linux-x64_bin.tar.gz，上传到liunx服务器（官网跳转） 解压文件：tar -xzf jdk-15.0.1_linux-x64_bin.tar.gz，生成文件夹jdk-15.0.1 在/usr/目录下创建java文件夹，将 ......
大规模分布式训练并行模式
大规模分布式训练并行模式 数据并行 Data Parallelism 模型在不同GPU上具有完全一致的副本，包括模型参数、模型梯度、模型优化器状态，这些都是完全相同的。唯一不同的是不同GPU上处理的数据是不同的，在每次梯度更新时，对所有数据产生梯度之和求平均，然后更新。 管道并行 Pipeline ......
分布式缓存与本地缓存的优缺点
本地缓存：1.访问速度快，但是无法进行大数据存储2.集群数据更新问题3.数据随应用的重启而丢失分布式缓存：1.支持大数据量存储，不受应用进程影响2.数据集中存储，保证数据的一致性3.数据读写分离，高性能，高可用4.数据跨网络传输，性能低于本地缓存 ......
1-centOS7搭建伪分布式Hadoop
前言：虚拟机快照的使用 VMware Workstation 软件可以用快照进行迅速的虚拟机状态的切换 ※. 类似于虚拟机备份， 可以使用备份进行快速恢复。 比如没安装jdk之前拍摄快照来备份 ※. 若jdk没安装好或者jdk环境变量配置的有问题， 可以用安装之前的快照快速恢复虚拟机 1.拍摄快照： ......
分布式下AP与CP的区别
在分布式中有一种理论叫CAP理论，C表示数据一致性，A表示系统可用性，P表示分区容错性，提出这个理论的人也指出了CAP这三者间只能有两个同时成立。 先来解释一下P分区容错性,在分布式的情况下，应用都会搭一个集群，比如用户在使用一个服务的时候可能会有多个用户服务端，当一个用户在一个服务端进行了修改了数 ......
Windows中安装Elasticsearch
链接：https://pan.baidu.com/s/1-EsuGaw0_9ubw5_9AhRS2Q 提取码：1hp4 一，Elasticsearch环境准备 elasticsearch-5.6.8.zip进行解压（安装目录随意） 启动服务： 访问http://127.0.0.1:9200，显示如下 ......
elasticSearch elk kibana _update_by_query 批量修改字段值
-- 根据多个条件条件 批量修改字段属性 update elk ctx._source.xxx 是修改字段的固定写法 POST saas_index/_update_by_query { "script": { "source": "ctx._source.marketable='false';", ......
Elasticsearch部署启动问题整理
这里我就直接搬砖了... 参考： https://blog.csdn.net/KoHsin_/article/details/117742476 >>> ......
深入分布式一致性：Raft 和 etcdRaft
分布式一致性是构建可靠的分布式系统的关键要素之一。为了确保数据的一致性和可用性，一致性算法的设计变得至关重要。在这篇博文中，我们将深入探讨两个与分布式一致性密切相关的主题：Raft 算法和 etcdRaft 存储系统。 ## Raft 算法：分布式一致性的基石 Raft 算法是一种分布式一致性算法， ......
ElasticSearch的常规增删改查操作
# 一、Restful简介 RESTFul：Representational State Transfer，中文意思：表现层状态转化。变现层指的是资源的表现层，这里的资源是指网络上的信息，比如一张图片，一段文本，一步电影，那么每个资源在网络上都有一个标识，可以理解为一个ID，每个资源都有一个ID去表 ......
大企业才用的分布式唯一Id，它比GUID好
支持.Net Core(2.0及以上)与.Net Framework(4.5及以上) 可以部署在Docker, Windows, Linux, Mac。 分布式唯一Id，顾名思义，是指在全世界任何一台计算机上都不会重复的唯一Id。 在单机/单服务器/单数据库的小型应用中，不需要用到这类东西。但在高并 ......
locust：Python 分布式压力测试（带WebUI）
Locust 介绍 它采用纯 Python 实现，是一个分布式用户负载测试的工具。 使用基于 Requests 库的客户端发起请求，使编写脚本大大简化; 在模拟并发方面摒弃进程和线程，完全基于时间驱动，采用协程（gevent）提供的非阻塞 IO 和 coroutine 来实现网络层的并发请求。因此单 ......
探索语言的奥秘：我与英汉词性分布的碰撞
在我的语言学之旅中，我一直对比较英语和汉语的词性分布特别感兴趣。最近，我有了一个深入探讨这一题目的机会。下面是我对这一话题的深度探讨和个人见解。 #### 第一章：词性分布的奇妙世界 一天，我被一个看似简单但实则具有深度的问题吸引：“英语是不是比汉语更喜欢用名词？”这使我陷入了沉思。我首先想到的是寻 ......
Elasticsearch之分词器
## 一、分词器(Analyzer)概念 ### 1.1 什么是分词器？ 文本分析就是**把全文本转换成一系列单词（term/token）的过程**，也叫**分词**。在 ES 中，Analysis 是通过**分词器（Analyzer）** 来实现的，可使用 ES 内置的分析器或者按需定制化分析器。 ......
从一台电脑怎么到的分布式架构？
从单台服务器到分布式服务器的演化过程 1.单台服务器 并发量过大就会出现各种问题 2.把服务器和数据库分离 我把应用和数据库分别部署到不同的服务器上，缓解了负载压力 3.应用服务器集群 出现的问题是： a.需要使用session和cookie维护用户： session用来跟踪用户状态，cookie用 ......
Elasticsearch之SearchAPI
## Search API ES 的 Search API 分为两大类，第一类是 **URI Search**，用 HTTP GET 的方式在 URL 中使用查询参数已达到查询的目的；另一类为 **Request Body Search**，可以使用 ES 提供的基于 JSON 格式的格式更加完备的 ......
ElasticSearch系列——查询、Python使用、Django/Flask集成、集群搭建，数据分片、位置坐标实现附近的人搜索
@[toc] # Elasticsearch之-查询 ``` 查询分类： 基本查询：使用es内置查询条件进行查询 组合查询：把多个查询组合在一起进行复合查询 过滤：查询的同时，通过filter条件在不影响打分的情况下筛选数据 ``` ## 一 基本查询 ```python #添加映射 PUT lag ......
Elasticsearch之aliases
## aliases的作用 索引别名可以指向一个或多个索引，允许我们做如下操作： * 在运行的集群中可以无缝的从一个索引切换到另一个索引 * 可以给多个索引分组 * 可以与路由搭配使用 准备数据 ``` java # 创建索引p1 PUT p1/_doc/1 { "title":"周一" } # 创 ......
Elasticsearch之settings
## settings 结构 查看索引settings信息 ``` java GET {索引名}/_settings ``` 返回结果： ``` java "settings" :{ // 分片数量 "number_of_shards" : 1, // 副本数量 "number_of_repicas ......
从高斯分布到信息矩阵
# 从高斯分布到信息矩阵 > 本文章的所有证明推导均为个人记录，如有错误欢迎指出，且所有均参考贺一家博士和高翔博士的相关证明，其他的部分参考文献也在文末给出。 [TOC] ## 1. SLAM 问题概率建模 考虑某个状态 $\boldsymbol{\xi}$ ，以及一次与该状态相关的观测 $\mat ......
Elasticsearch之Mapping
## Mapping的作用 Mapping 类似数据库中的表结构定义 schema ，它有以下几个作用： * 定义索引中的字段名称 * 定义字段的数据类型，如字符串、数字、布尔等 * 字段，倒排索引的相关配置，如设置某个字段不被索引、记录 position等 ## 字段数据类型 ### 核心类型 ` ......
Elasticsearch之索引简单应用
> 本篇所有操作都在 Kibana 上执行 ## 创建第一个索引 ``` java PUT product { // 索引设置 "settings": { // 分片数量 "number_of_shards": 3, // 副本数量 "number_of_replicas": 1 }, // 索引字 ......
docker部署安装ElasticSearch
基于lucene开发的ElasticSearch由于其高效的检索性能，已经实际形成诸多业务架构中必备的一个技术组成部分。本次实际开发环境为Centos7，准备基于springboot搭建一套检索系统，自然ElasticSearch就是第一选择了。不过单独部署安装es又显得异常费事，docker容器服 ......
ElasticSearch常用术语
## 一、 数据库和ES简单类比 | 关系型数据库 | 表(Table) | 行(Row) | 列(Cloumn) | Schema | SQL | | | | | | | | | Elasticsearch | 索引(Index) | 文档(Document) | 字段(Filed) | Mapp ......
Elasticsearch环境搭建
## 一、安装 elasticsearch ``` java -- 拉取镜像 docker pull docker.elastic.co/elasticsearch/elasticsearch:8.9.1 -- 创建 docker 网络 docker network create elastic - ......
Elasticsearch7.8集群实践记录之下线节点
1.背景：由于机房迁移需要将elasticsearch集群进行跨机房搬迁，采取先扩容再收缩的方式进行，已有效减小对业务环境的影响。当前需要将老的节点有序下线。 2.操作步骤： 1.检查集群配置，保证主节点的可用性； # 设置 minimum_master_nodes 为 2 curl -XPUT ' ......
Elasticsearch7.8集群实践记录
1.背景：当需要开发团队搭建自有elasticsearch集群时候，需要先明确具体的应用场景，进而对可用性，性能以及容量进行评估。当前实践记录主要应用场景在于业务日志记录短暂保存以便提供近期数据查询，并选择elasticsearch版本7.8.0，可用性要求三个9，每日数据量月1.5T，数据保存大约 ......
Elasticsearch
# ES（分布式、开源、查询） ``` 传统数据一般会分三个方向：结构化数据、非结构化数据、半结构化数据 结构化数据：一般每个字段之间都是有关系的，例如mysql的主键唯一id代表了该条数据的唯一定位（mysql、mongodb） 非结构化数据：无法用二维表结构来设计，文章、日志、视频、图片等等（m ......