分布式elasticsearch redis-cluster cluster
理论讲解 -分布式系统
分布式系统常见理论讲解 分布式系统是指由多个节点通过网络进行通信和协作的系统，它具有高可用性、高扩展性、高性能等优点，但也面临着一些挑战，如数据一致性、容错性、负载均衡等。为了解决这些问题，分布式系统设计出现了一些经典的理论和方法，如 CAP 理论、BASE 理论、一致性等。 CAP 理论 CAP ......
Nebula Graph开源分布式图数据库,万亿级数据,毫秒级延时
推荐一个分布式图数据库Nebula Graph,万亿级数据,毫秒级延时 什么是Nebula Graph Nebula Graph 是一款开源的、分布式的、易扩展的原生图数据库，能够承载包含数千亿个点和数万亿条边的超大规模数据集，并且提供毫秒级查询 什么是图数据库 图数据库是专门存储庞大的图形网络并从 ......
Hadoop-3.3.3分布式集群的文件配置，启动hadoop历史服务和启动日志聚集
一、分布式集群的文件配置 涉及$HADOOP_HOME/etc/hadoop路径下的5个文件 workers、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 首先修改workers 进入$HADOOP_HOME/etc/hadoop ......
云计算-hadoop的安装（书接上回+分布式搭建）
书接上回，这次来进行分布式集群的搭建。 执行命令：echo $JAVA_HOME 查看路径，我的路径如图所示： 然后在/usr/local/hadoop目录下，执行命令gedit ./etc/hadoop/hadoop-env.sh 打开文本，然后再第一行添加刚刚的路径，如图所示： 因为之前一节咱们 ......
Jmeter分布式测试的注意事项和常见问题
Jmeter分布式测试的注意事项和常见问题 Jmeter是一款开源的性能测试工具，使用Jmeter进行分布式测试时，也需要注意一些细节和问题，否则可能会影响测试结果的准确性和可靠性。 Jmeter分布式测试时需要特别注意的几个方面 1. 参数化文件的位置和内容 如果使用csv文件进行参数化，即通过读 ......
java——redis随笔——实战——分布式缓存
在使用Redis过程中，持久化是一项非常重要的功能，因为如果Redis Server停止工作，所有的数据将全部丢失。为了避免这种情况的出现，我们需要将Redis中的数据保存在硬盘上，以保证数据不受服务器宕机影响。Redis提供了两种持久化方式——RDB和AOF。笔者将会以RDB与AOF的区别为话题， ......
ElasticSearch【分布式锁】
一、简介 ES在多线程并发访问修改情况下会用到锁机制。大致分为乐观锁和悲观锁。 二、乐观锁 通过_version来记录文档版本。在文档创建时会有一个初始version，默认为1.对文档修改或者删除时，version会递增，也可以指定。只有当版本号大鱼当前版本时，才会修改或者删除成功，否则失败。当并发 ......
分布式锁【Redission】
一、简介 Redission，一个基于Redis实现的分布式工具，为 Redis 官网分布式解决方案。 Redisson提供了使用Redis的最简单和最便捷的方法。Redisson的宗旨是促进使用者对Redis的关注分离（Separation of Concern），从而让使用者能够将精力更集中地放 ......
一镜到底 ElasticSearch 数据迁移同步技术
简介 CloudCanal 对于 Elasticsearch 的支持经历了很多轮迭代，版本一路从 6.x,7.x 支持到 8.x 版本，也适配了其纷繁多样的 API。 因为 Elasticsearch 是一个相当流行的、实时的、并且具备一定不可替代能力的搜索引擎，所以很有必要对比下市面上我们能够比较 ......
zabbix分布式监控部署proxy安装
1、编译安装zabbix proxy 1 2 3 # tar -zxvf zabbix-4.2.8.tar.gz # cd zabbix-4.2.8/ # ./configure --prefix=/usr/local/zabbix-4.2.8 --enable-proxy --with-mysql ......
Seata 分布式事务服务器搭建
1. Seata 安装包下载 网址：https://github.com/seata/seata/releases 下载：seata-server-1.5.2.zip 2. Seata 配置文件修改 解压安装包，seata/conf 文件夹找到 application.yml 配置文件，修改如下： ......
elasticSearch 文章
https://blog.csdn.net/mjl1125/article/details/121782863 https://blog.csdn.net/qq_39397165/article/details/108556817#:~:text=go-elasticSearch%E5%AE%9E% ......
分布式存储——ceph集群部署
一、部署结构 以x.x.x.150、x.x.x.151、x.x.x.152三台服务器搭建最基本的三节点ceph集群，服务器系统使用的是centos7版本，IP网段为x.x.x.0/24，三台服务器的名称分别为： ceph001: x.x.x.150，管理节点 ceph002: x.x.x.151，子 ......
草原承包经营权确权数据处理系统批量生成表格资料草场分布图
山水林田湖草沙冰是生命共同体。草原承包经营权确权成果资料繁多，要求较高。为源地理(wygis2022)根据实际介绍草原承包经营权确权数据处理系统批量生成界址点、承包地块调查表、承包方调查表、承包合同书、登记申请书、公示结果归户表、经营权登记簿、牧户信息采集表、草场分布图的经验和成果。 ......
Redis 分布式锁
1、讲一讲Redis的分布式锁 Redis分布式锁最简单的实现 想要实现分布式锁，必须要求 Redis 有「互斥」的能力，我们可以使用 SETNX 命令，这个命令表示SET if Not Exists，即如果 key 不存在，才会设置它的值，否则什么也不做。 两个客户端进程可以执行这个命令，达到互斥 ......
ElasticSearch启动时不加载自定义ik分词
今天在学习ElasticSearch使用ik分词器时想自定义分词 然后创建了ccx.dic文件，其中写了名字程长新 也在ik分词器听config文件夹的xml配置文件中配置了我自己的创建的字典 结果启动之后再去测试仍然把名字给拆开了 于是去百度解决问题，搜到的大多是说自己创建的字典字符编码不对，有的 ......
ElasticSearch实战指南必知必会：安装分词器、高级查询、打分机制
ElasticSearch实战指南必知必会：安装中文分词器、ES-Python使用、高级查询实现位置坐标搜索以及打分机制 1.ElasticSearch之-安装中文分词器 elasticsearch 提供了几个内置的分词器：standard analyzer(标准分词器)、simple analyz ......
Elasticsearch实战：常见错误及详细解决方案
Elasticsearch实战：常见错误及详细解决方案 1.read_only_allow_delete":"true" 当我们在向某个索引添加一条数据的时候，可能（极少情况）会碰到下面的报错： { "error": { "root_cause": [ { "type": "cluster_bloc ......
缓存【分布式缓存高可用方案】
一、简介 上图所示，我们在服务层和数据库层之间增加一个缓存层，现在我们读取数据的时候，先从缓存里面读取，读不到的再去读数据库。 既然我们引入了缓存，那肯定是想更多的请求尽量落在缓存上，也就是说我们必须要关注缓存命中率，命中率越高就代表我们的后端存储就越不容易被拖垮成为性瓶颈，如果我们的缓存命中率下降 ......
odigos 基于ebpf 以及OpenTelemetry 的分布式tracing 解决方案
按照odigos 官方的介绍是不需要进行代码的修改就可以实现方便的跨应用的分布式trace，目前支持java，python，net，go，js 等语言目前看官方的介绍，安装是比较简单的（核心基于了k8s），目前官方文档比较清晰可以试用下 说明 目前开源分布式trace 的工具是越来越多了，同时基于e ......
Redis【实战篇】---- 分布式锁-redission
https://fickler.blog.csdn.net/article/details/131433218?spm=1001.2101.3001.6650.5&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLI ......
docker 配置 ElasticSearch + Kibana + ik分词器
docker 配置 ElasticSearch + Kibana + ik分词器 下载镜像文件 docker pull elasticsearch:7.4.2 #存储和检索数据 docker pull kibana:7.4.2 #可视化检索数据 创建实例 配置外置挂在目录，echo这一行命令配置可以 ......
Elasticsearch安装
Docker 单节点 修改max_map_count值 sysctl -w vm.max_map_count=262144 创建持久化目录并配置权限 mkdir /opt/elasticsearch setfacl -m u:1000:rwx -R /opt/elasticsearch/ 创建配置文 ......
[转]Elasticsearch全文检索入门这一篇就够了
本文仅针对搜索与Elasticsearch小白，先介绍了全文搜索的原理，然后介绍了Elasticsearch中的一些基本概念，接着讲解如何在Elasticsearch中插入文档构建查询索引，最后介绍Elasticsearch的线上查询API的使用方式。 全文搜索原理 顺序扫描 如何实现全文搜索？最简 ......
数据统计分析 — 抽样分布
从总体（容量为N个体）多次取出样本（容量为n个体），通过n的某个统计量的情况，来预估总体的情况 抽样 从有限总体的抽样 简单随机样本（有限总体）：从容量N的有限总体中抽取一个容量n的样本，如果容量为n的每一个可能的样本都以相等的概率被抽出，则称该样本为简单随机样本 从无限总体的抽样 随机样本（无限总 ......
分布式系统
什么是分布式系统 一个系统各组件分别部署在不同服务器上，彼此通过网络通信和协调的系统。 表现形式： 可以指多个不同组件分布在网络上互相协作，比如电商网站 也可以一个组件的多个副本组成集群，互相协作如同一个组件，比如数据存储服务中为了数据不丢失而采取多个服务备份冗余，当数据修改时也需要通信来复制数据。 ......
NOSql【ElasticSearch】
一、简介 ES是有Apache开源的一个兼有搜索引擎和Nosql数据库功能的系统。 特点如下： 基于java/Lucence构建，支持全文搜索、结构化搜索。 低延迟，支持实时搜索。 分布式部署，可横向集群扩展。 支持百万级数据。 支持多条件复杂查询，如聚合查询。 高可用性，数据可以进行切片备份 支持 ......
浅谈XXLJob 分布式任务调度
一、前言 1、什么是XXLJob? xxl-job是一个分布式的任务调度平台，他的优点是上手简单，开发迅速，开箱即用，也是个轻量级的任务调度平台。 xxl-job框架主要用于处理分布式的定时任务，其主要由调度中心和执行器组成。 调度模块（调度中心）： 负责管理调度信息，按照调度配置发出调度请求，自身 ......