分布式elasticsearch redis-cluster cluster
31.ElasticSearch自定义词库
安装nginx 在mydata文件夹下创建一个nginx文件夹： mkdir nginx 随便启动一个nginx实例，只是为了复制出配置： docker run -p 80:80 --name nginx -d nginx:1.10 如下图可以看到启动好了nginx容器，当然这个容器我们只是为了用来 ......
hive 的order by ,sort by，distribute by，cluster by
order by order by会对输入做全局排序，因此只有一个Reducer(多个Reducer无法保证全局有序)，然而只有一个Reducer，会导致当输入规模较大时，消耗较长的计算时间，在生产环境中遇到数据量较大的情况，一般无法成功。 sort by sort by不是全局排序，其在数据进入r ......
flink-cdc同步mysql数据到elasticsearch
1，什么是cdc CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。 2，fli ......
分布式系统架构设计思想
1. 计算与存储分离 2. 接口幂等, 业务幂等 ,防重提交 3.功能性需求 ,非功能性需求 之间的取舍平衡 4. 数据的冷热分离 5. 高内聚,低耦合 , 模块化设计 ,分层,防腐层 ,DDD 6. 分布式系统,三大件 Redis , MQ , 分布式数据库(1. 满足事务处理简单 , 2. 能快 ......
Spring Cloud Alibaba全解析：构建可靠的分布式系统
标题：Spring Cloud Alibaba全解析：构建可靠的分布式系统 引言：随着互联网技术的不断发展，分布式系统的概念和应用越来越广泛。作为构建可靠和弹性的分布式系统的关键技术之一，Spring Cloud Alibaba提供了一套完整的解决方案，帮助开发者更轻松地构建和管理分布式系统。本文将 ......
使用 Kafka Tools（现已更名为 Offeset Exploer）无法连接虚拟机的 Kafka 集群，报错error connecting to the cluster
发生缘由 学习 Kafka 的使用，结果发现使用 Kafka Tools（现已更名为 Offeset Exploer）无法连接虚拟机的 Kafka 集群，报错信息：error connecting to the cluster. unable to connect to zookeeper serv ......
分布理论读书笔记四:基本解
# 基本解 ## 定义 **定义1:** 考虑常系数的偏微分算子: $$ P(\partial)=\sum_{|\alpha|\le m}a_{\alpha}\partial^{\alpha} $$ 其中$a_{\alpha}$是常数.如果存在分布$E\in \mathscr{D}'(\mathbb ......
分布理论读书笔记:习题和例子
## 1:$\mathrm{pv}(\frac{1}{x})$ 考虑函数$\frac{1}{x}$,由于$f(x)$在0点处的奇异性导致它并不是$\mathbb{R}$上的局部可积函数,可以直接验证,它并不是$\mathbb{R}$上的一个分布,但是,如果考虑如下的算子: **定义:** 对任意的$ ......
分布理论读书笔记三:Fourier变换
# 5.$\mathscr{S}$上的傅里叶变换 ## 5.1.Schwartz函数空间$\mathscr{S}(\mathbb{R}^n)$. **定义1:** 设$\varphi\in C^{\infty}(\mathbb{R}^n)$，如果对任意非负多重指标$\alpha,p$都有： $$ \ ......
【分布式技术专题】RocketMQ延迟消息实现原理和源码分析
[推荐超值课程：点击获取](https://www.sanzhishu.top/) ### 痛点背景 #### 业务场景 > 假设有这么一个需求，用户下单后如果30分钟未支付，则该订单需要被关闭。你会怎么做？ #### 之前方案 > **最简单的做法，可以服务端启动个定时器，隔个几秒扫描数据库中待支 ......
条条大路通罗马系列—— 使用 Hiredis-cluster 连接 Amazon ElastiCache for Redis 集群
前言 Amazon ElastiCache for Redis 是速度超快的内存数据存储，能够提供亚毫秒级延迟来支持 实时应用程序。适用于 Redis 的 ElastiCache 基于开源 Redis 构建，可与 Redis API 兼容，能够与 Redis 客户端配合工作，并使用开放的 Redis ......
一篇文章讲透分布式存储【转载】
分布式存储是相对于集中式存储来说的，在介绍分布式存储之前，我们先看看什么是集中式存储。不久之前，企业级的存储设备都是集中式存储。所谓集中式存储，从概念上可以看出来是具有集中性的，也就是整个存储是集中在一个系统中的。但集中式存储并不是一个单独的设备，是集中在一套系统当中的多个设备。以EMC公司的存储为 ......
分布式锁
# 1. 分布式锁作用 解决缓存击穿问题 # 2. 分布式锁思想 加锁：就是去存储一个数据，如果一个线程可以把数据存储成功，就说明当前线程获取到了锁；存储不成功，就说明当前线程没有获取到锁。 解锁：删除数据 # 3. 常用技术 mysql,redis,zookeeper是常用的分布式锁技术 加锁对性 ......
缓存面试解析：穿透、击穿、雪崩，一致性、分布式锁、Redis过期，海量数据查找
本文提供了一些保证数据一致性和设计分布式锁的策略。这些策略可以在实际应用中帮助开发人员解决相关的问题，确保系统的数据一致性和并发访问的正确性。同时，通过合理地使用缓存和分布式锁，可以提高系统的性能和可靠性。希望对你在面对Redis相关面试题时有所帮助！ ......
docker elasticsearch 安装
三个节点 node1 192.168.70.120 registry、es-master node2 192.168.70.121 node3 192.168.70.122 es 和 kibana 版本：7.12.1 https://zhuanlan.zhihu.com/p/439001624 ht ......
学好Elasticsearch系列-分词器
本文已收录至Github，推荐阅读 👉 [Java随想录](https://github.com/ZhengShuHai/JavaRecord) 微信公众号：[Java随想录](https://mmbiz.qpic.cn/mmbiz_jpg/jC8rtGdWScMuzzTENRgicfnr91C5 ......
学好Elasticsearch系列-聚合查询
本文已收录至Github，推荐阅读 👉 [Java随想录](https://github.com/ZhengShuHai/JavaRecord) 微信公众号：[Java随想录](https://mmbiz.qpic.cn/mmbiz_jpg/jC8rtGdWScMuzzTENRgicfnr91C5 ......
Zabbix 分布式监控平台
[toc] ## 一、Zabbix 概述 作为一个运维，需要会使用监控系统查看服务器状态以及网站流量指标，利用监控系统的数据去了解上线发布的结果，和网站的健康状态。 利用一个优秀的监控软件，我们可以： - 通过一个友好的界面进行浏览整个网站所有的服务器状态 - 可以在Web 前端方便的查看监控数据 ......
zabbix 基于 Web 界面的提供分布式系统监视
zabbix 基于 Web 界面的提供分布式系统监视，能监视各种网络参数，保证服务器系统的安全运营；并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。 目录 一、zabbix概述 二、监控原理 三、zabbix组件 四、zabbix架构 五、zabbix工作原理 六、部署 zabbix ......
深入浅出关于微服务架构实战指南：分布式系统的设计与部署技巧
深入浅出关于微服务架构实战指南：分布式系统的设计与部署技巧 微服务架构实战指南：分布式系统的设计与部署技巧 摘要：随着互联网应用的快速发展，传统的单体应用架构已经无法满足高可用、可扩展、快速迭代等需求。微服务架构的出现为解决这些问题提供了一种新的思路。本文将深入探讨微服务架构的设计与部署技巧，包括服 ......
elasticsearch由单节点部署成3节点的集群
环境:OS:Centos 7ES:6.8.5目前拓扑:单节点的ES(带密码验证)当前节点ip:192.168.1.105 新增节点ip:192.168.1.106192.168.1.107 ########################当前节点的配置情况###################### ......
Redis从入门到放弃（10）：分布式锁
在分布式系统中，实现对共享资源的安全访问是一个关键问题。Redis作为一种高性能的内存数据库，提供了多种方式来实现分布式锁，以解决多个节点之间对共享资源的并发访问问题。 本文将介绍五种Redis分布式锁的解决方案及其原理、应用场景以及Java代码的实现步骤。 ## 1、SETNX `SETNX`（S ......
【转】分布式事务,EventBus 解决方案:CAP【中文文档】
【转】分布式事务,EventBus 解决方案:CAP【中文文档】 最新文档地址：https://github.com/dotnetcore/CAP/wiki 前言 很多同学想对CAP的机制以及用法等想有一个详细的了解，所以花了将近两周时间写了这份中文的CAP文档，对 CAP 还不知道的同学可以先看一 ......
分布式链路跟踪springcloud-Sleuth和springcloud-Zipkin
分布式链路跟踪springcloud-Sleuth和springcloud-Zipkin 前言 各大厂分布式链路跟踪系统架构对比随着互联网架构的扩张，分布式系统变得日趋复杂，越来越多的组件开始走向分布式化，如微服务、消息收发、分布式数据库、分布式缓存、分布式对象存储、跨域调用，这些组件共同构成了繁杂 ......
云原生可观测框架 OpenTelemetry 基础知识(架构/分布式追踪/指标/日志/采样/收集器)
 ## 什么是 OpenTelemetry？ [OpenTelemetry](https://opentele ......
何时使用Elasticsearch而不是MySql
MySQL 和 Elasticsearch 是两种不同的数据管理系统，它们各有优劣，适用于不同的场景。本文将从以下几个方面对它们进行比较和分析： - 数据模型 - 查询语言 - 索引和搜索 - 分布式和高可用 - 性能和扩展性 - 使用场景 ## 数据模型 MySQL 是一个关系型数据库管理系统（R ......
[系统设计] 分布式系统 (1) 分布式锁（1）基于Redis(setnx)实现分布式锁组件
# 1 序言 近期遇到一个问题： + 外部查询缓存了InfluxDB中物联网数据表的字段信息元数据的本地缓存(基于Google Guava Cache、及其RefreshAfterWrite(seconds, TimeUnit.SECOND))的Web接口 > 为什么会缓存 Influxdb的字段信 ......
应用程序通过 Envoy 代理和 Jaeger 进行分布式追踪（一）
Istio 支持通过 Envoy 代理进行分布式追踪，代理自动为其应用程序生成追踪 span，只需要应用程序转发适当的请求上下文即可。Istio 支持很多追踪系统，包括 Zipkin， Jaeger，Lightstep 和 Datadog，其中 Jaeger 目前已经成为 Istio 默认的分布式追 ......
[系统设计] 分布式系统 (1) 分布式锁 [转载]
在日常开发工作中，我们为了保证资源操作的最终一致性，同样需要用到锁来进行操作控制。本Chat结合自己工作中的经验沉淀，来跟大家一起聊聊 分布式锁的那些事，分享一些实用内容给大家。 # 为什么会出现分布式锁？ 如下图所示，一个应用被部署到多个机器上做负载均衡。为了保证一个方法或属性在高并发情况下的同一 ......
docker-compose快速部署elasticsearch-8.8.1集群+kibana+logstash
安装环境 centos7.9 8cpu 16G 内存 vda50 G vdb 100G 如果您的环境是Linux，注意要做以下操作，否则es可能会启动失败用编辑工具打开文件/etc/sysctl.conf在尾部添加一行配置vm.max_map_count = 262144，如果已存在就修改，数值不能 ......