分布式elasticsearch redis-cluster cluster
git学习一：版本控制软件基础功能以及集中式和分布式版本控制软件
虽然已经工作一段时间并且在工作中也经常用到git，但是还没系统学习过git，特此学习一下并且记录笔记。 功能： 1.保存和管理文件 2.提供客户端工具进行访问 3.提供不同版本的比对功能 集中式版本控制：每一行会记录谁修改的，但是多个人修改同一行还是需要人工操作 分布式版本控制：先上传到本地，再上传 ......
3.ElasticSearch~进阶
ES支持两种基本方式检索： 一个是通过使用 REST request URI来发送搜索参数(uri + 检索参数) GET bank/_search?q=*&sort=account_number:asc 另一个是通过 REST request body 来发送他们 (uri + 请求体) GET ......
SpringBoot中进行elasticSearch查询，使用QueryBuilders构建各类条件查询
查询所有 //搜索全部文档 QueryBuilder queryBuilder = QueryBuilders.matchAllQuery(); 查询单个,等于/eq //单个匹配，搜索name为li的文档 QueryBuilder queryBuilder = QueryBuilders.matc ......
SpringBoot集成ElasticSearch时分页排序查询时遇到的坑每次只能返回10条数据
背景 在使用ElasticSearch来分词查询，并分页返回指定的数据条数，但是当我们每次想得到分页数据条数超过十条的时候，ElasticSearch总是只能返回十条。这是因为ElasticSearch为了查询的速度，在默认的情况下已经设置了分页数据只能返回10条，所以我们需要通过改变size（返回 ......
docker安装8版本elasticsearch遇到的问题FileSystemException
## docker安装8版本elasticsearch遇到的问题 ```bug Exception in thread "main" java.nio.file.FileSystemException: /usr/share/elasticsearch/config/elasticsearch.ym ......
Spring Boot中借助Redis实现分布式系统全局共享线程安全的阻塞队列
背景问题 我们都知道Java里的LinkedBlockingQueue，采用先进先出（FIFO）的方式存储元素，并且支持同时进行并发的读和写操作。内部使用ReentrantLock锁来保证多线程环境下的线程安全性。 LinkedBlockingQueue提供了以下主要方法： put(E e)：将元素 ......
python操作elasticsearch-全文检索、拼写纠错、补全提示
1、首先安装elasticsearch包 pip install elasticsearch (一般会包含新旧版本，如果想要特定的版本，比如5.x 可以在后面加5数字) ```Python """ 1、首先安装elasticsearch包 pip install elasticsearch (一般会 ......
ElasticSearch索引库的增删改查
官方文档：[https://www.elastic.co/guide/en/elasticsearch/reference/6.8/indices.html](https://www.elastic.co/guide/en/elasticsearch/reference/6.8/indices.ht ......
ElasticSearch-document文档数据-增删改
文档就是相当于每条记录。 **每个文档（数据记录行）都有几个元数据，分别是**： - _index，表示该文档是那个索引中的。 - _type，表示文档的类型 - _id，文档的唯一ID编号 - _score，相关性分数。 # 添加文档（添加数据） ```JSON POST /库名/类型名[/id] ......
ElasticSearch查询数据、全文检索、补全提示、拼写纠错
[https://www.elastic.co/guide/en/elasticsearch/reference/6.8/search.html](https://www.elastic.co/guide/en/elasticsearch/reference/6.8/search.html) [ht ......
ElasticSearch给索引起"别名"和其重要性
**创建别名：** [https://www.elastic.co/guide/en/elasticsearch/reference/6.8/indices-aliases.html](https://www.elastic.co/guide/en/elasticsearch/reference/6 ......
ElasticSearch安装中文分词器（插件）、分词测试
[https://github.com/medcl/elasticsearch-analysis-ik](https://github.com/medcl/elasticsearch-analysis-ik) **分词测试：** [https://www.elastic.co/guide/en/el ......
ElasticSearch-Mapping类型映射-增删改查
[https://www.elastic.co/guide/en/elasticsearch/reference/6.8/mapping.html](https://www.elastic.co/guide/en/elasticsearch/reference/6.8/mapping.html) 7 ......
初始elasticSearch
# elasticSearch ## 大致印象 ### 为什么用? 1. mysql更擅长于crud等操作,当一张表达到百万级别时,检索速度过慢 2. es检索速度快 ### 基本概念 1. **Index索引**(两层意思) 1. 动词:类似mysql的insert 2. 名词:类似mysql的数 ......
Elasticsearch date数据类型
时间和日期类型是我们作为开发每天都会遇到的一种常见数据类型。和Java中有所不同，Elasticsearch 在索引创建之前并不是必须要创建索引的mapping。关系型数据库的思维就是在于写入数据之前，并不强制创建表结构。我们不用事先声明字段名称，字段类型以及长度等属性就可以直接向一个不存在的表中直 ......
ElasticSearch快照备份、还原
# 快照备份 备份和还原的前提：在配置文件elasticsearch.yml中设置path.repo ```YAML path.repo: ["D:\\elasticsearch-6.8.23\\elasticsearch-6.8.23\\snapshot_data"] ``` ## 创建快照仓库 ......
Scrapy-redis组件，实现分布式爬虫
安装包 ```Python pip install -U scrapy-redis ``` settings.py ```Python ##### Scrapy-Redis ##### ### Scrapy指定Redis 配置 ### # 其他默认配置在scrapy_redis.default.py ......
2.ElasticSearch入门
一、初步检索 1、_cat GET /_cat/nodes : 查看所有结点 GET /_cat/health : 查看es的健康状况 GET /_cat/master : 查看主节点 GET /_cat/indices ：查看所有索引 2、索引一个文档 保存一个数据，保存在哪个索引的哪个类型下，指 ......
1-ElasticSearch - Docker安装
1、下载镜像文件 docker pull elasticsearch:7.4.2docker pull kibana:7.4.2 2、创建实例 创建文件夹和配置文件 mkdir -p /mydata/elasticsearch/configmkdir -p /mydata/elasticsearch ......
分布式缓存
单点redis的问题 数据丢失问题：Redis是内存存储，服务重启可能会丢失数据。解决：数据持久化 并发能力问题：单节点并发能力不足。解决：主从集群，读写分离。 故障恢复：需要自动的故障恢复手段。解决：Redis哨兵，实现健康检测和自动恢复。 存储能力问题：单节点Redis难以满足海量数据存储。解决 ......
读发布！设计与部署稳定的分布式系统（第2版）笔记24_互联层之负载均衡
 # 1. 水平扩展 ## 1.1. 有助于提高系统的整体容量和韧性 ## 1.2. 现阶段构建的几乎所有系统，都 ......
Java开发大型互联网-架构师必须掌握的分布式技术
Java开发大型互联网-架构师必须掌握的分布式技术 摘要：在当今互联网行业，随着用户量和业务的不断增长，大型互联网系统的设计和开发已经成为了一项头等重要的任务。作为架构师，要能够应对这样的挑战，就必须掌握一些关键的分布式技术。本文将介绍Java开发大型互联网系统时，架构师必须要掌握的分布式技术。 一 ......
高级java高并发，高性能，分布式，高可用，负载均衡，系统架构实战
提到锁，大家肯定想到的是sychronized关键字。是用它可以解决一切并发问题，但是，对于系统吞吐量要求更高的话，我们这提供几个小技巧。帮助大家减小锁颗粒度，提高并发能力。 初级技巧-乐观锁乐观锁使用的场景是，读不会冲突，写会冲突。同时读的频率远大于写。 悲观锁的实现： 悲观的认为所有代码执行都会 ......
卡方检验与卡方分布
卡方检验的公式如下： 1. 计算观察频数（Observed Frequencies）和期望频数（Expected Frequencies）： 观察频数（O）：实际观测到的数据中每个类别的频数。 期望频数（E）：根据假设的独立性，在每个类别中预期的频数。 2. 计算卡方统计量（Chi-square S ......
Redis分布式锁问题
通过SET原子操作来设置key和过期时间 // 加锁// 如果key不存在，那么设置它的值，否则什么也不做SETNX lock 1// 10s后自动过期EXPIRE lock 10 // 2者合一，一条命令保证原子性执行SET lock 1 EX 10 NX 问题1：无法评估准确的加锁时间（自动续期 ......
微服务或分布式场景，如何设计和使用分布式锁
光谈论方式的话，太多了，数据库、jvm内存、redis、zookeeper都可以，最常用的是基于redis实现的redission框架 核心原理众多博客讲的很清楚，面试说个大概应该没问题了 第一点，用的reids的setex命令，因为这个命令是原子操作，不会在设置锁的过程中出现意外 第二点，锁过期问 ......
读发布！设计与部署稳定的分布式系统（第2版）笔记23_互联层之DNS
 # 1. 互连层是可以真正构建高可用性的地方 ## 1.1. 流量管理 ## 1.2. 负载均衡 ## 1.3. ......
聊聊我认为的分布式、集群实现关键点
基于常见的中间件(Mysql、ElasticSearch、Zookeeper、Kafka、Redis)等分布式集群设计的机制，自己总结了在在集群设计过程中需要考虑的通用问题。 ### 节点通信机制 主节点的增加、删除、通信机制。 ### 路由算法 即数据路由到哪个节点的策略机制。在集群内有多个节点， ......
推荐一款.NET开源的轻量级分布式服务框架
前言 今天要给大家推荐一款由新生命开发团队开源的.NET轻量级分布式服务框架：星尘分布式平台（NewLife.Stardust）。 项目介绍 星尘是一个轻量级分布式服务框架。它的功能包含配置中心、集群管理、远程自动发布、服务治理、服务自动注册和发现、负载均衡、动态伸缩、故障转移、性能监控。 核心功能 ......
Docker安装ElasticSearch
# Docker安装ElasticSearch 标签（空格分隔）： linux 安装ElasticSearch 版本：elasticsearch:7.10.1 mkdir -p /usr/local/elasticsearch/config mkdir -p /usr/local/elasticse ......