分布式elasticsearch sqlserver logstash
Logstash could not be started because there is already another instance using the configured data directory
#执行报错[root@logstash-95 ~]# logstash -f /etc/logstash/conf.d/stdin-test.conf Using bundled JDK: /usr/share/logstash/jdk OpenJDK 64-Bit Server VM warnin ......
ElasticSearch 实现分词全文检索 - 聚合查询 cardinality
目录 ElasticSearch 实现分词全文检索 - 概述 ElasticSearch 实现分词全文检索 - ES、Kibana、IK安装 ElasticSearch 实现分词全文检索 - Restful基本操作 ElasticSearch 实现分词全文检索 - Java SpringBoot E ......
2023最新ELK日志平台（elasticsearch+logstash+kibana）搭建
去年公司由于不断发展，内部自研系统越来越多，所以后来搭建了一个日志收集平台，并将日志收集功能以二方包形式引入自研系统，避免每个自研系统都要建立一套自己的日志模块，节约了开发时间，管理起来也更加容易。
这篇文章主要介绍ELK最新版本的搭建，二方包的介绍可以看小霸王的另外一篇文章。 ......
ElasticSearch 实现分词全文检索 - 搜素关键字自动补全(Completion Suggest)
ES使用Completion Suggest 做关键字自动补全时，实际应用中搜索性能更加高效，建议多开一个子字段，如下示例，假设要根据title字段做关键字自动补全，不要改原字段的类型，多开一个子字段title.suggest，类型设置为completion，然后之后的suggest针对title.... ......
【分布式技术专题】「分布式技术架构」一文带你厘清分布式事务协议及分布式一致性协议的算法原理和核心流程机制（Paxos篇）
概念简介 Paxos是一种基于消息传递具有高度容错特性的一致性算法，是目前公认的解决分布式一致性问题最有效的算法之一。 发展历史 Paxos算法的发展历史追溯到古希腊，当时有一个名为“Paxos“的小岛， 岛上采用一会的形式通过法令， 议会中议员通过信使进行消息传递，议员与信使都是兼职的，他们随时都 ......
基于Kafka和Elasticsearch构建实时站内搜索功能的实践
目前我们在构建一个多租户多产品类网站，为了让用户更好的找到他们所需要的产品，我们需要构建站内搜索功能，并且它应该是实时更新的。本文将会讨论构建这一功能的核心基础设施，以及支持此搜索能力的技术栈。 ......
精准测试之分布式调用链底层逻辑
作者：京东工业 宛煜昕 概要： 1. 调⽤链系统概述； 2. 调⽤链系统的演进； 3. 调⽤链的底层实现逻辑； 4. Span内容组成。 ⼀、分布式调⽤链系统概述 客户打电话给客服说：“优惠券使⽤不了”。 -客服告诉运营⼈员 --运营打电话给技术负责⼈ 技术负责⼈通知会员系统开发⼈员 会员找到营销系 ......
Java项目是不是分布式，真有那么重要吗？
大家好，我是3y啊。 大概不知道从什么时候，「微服务」「分布式」这两个词又再次频繁出现在我的视线里。 「微服务」「分布式」在我刚毕业的时候还是比较关注的，那时候还入门了一把SpringCloud，写了一篇很长的文章，还是很顶的，有不少的大号都给我转载了，在知乎又获得了很多的赞。 那时候觉得懂「分布式 ......
【Redis场景5】集群秒杀优化-分布式锁
集群环境下的秒杀问题 前序 【Redis场景1】用户登录注册 【Redis场景2】缓存更新策略(双写一致) 【Redis场景3】缓存穿透、击穿问题 【Redis场景拓展】秒杀问题-全局唯一ID生成策略 【Redis场景4】单机环境下秒杀问题 在单机环境下的并发问题，我们可以使用相关锁来解决；但是在集 ......
ElasticSearch 实现分词全文检索 - 概述
ES 是一个使用Java语言并且基于Lucene编写的搜索引擎框架，他提供了分布式的全文搜索功能，提供了一个统一的基于Restful风格的WEB接口，官方客户端也对多种语言都提供了相应的API。 ......
如何高效实现 MySQL 与 elasticsearch 的数据同步
MySQL 自身简单、高效、可靠，是又拍云内部使用最广泛的数据库。但是当数据量达到一定程度的时候，对整个 MySQL 的操作会变得非常迟缓。而公司内部 robin/logs 表的数据量已经达到 800w，后续又有全文检索的需求。这个需求直接在 MySQL 上实施是难以做到的。 原数据库的同步问题 由 ......
Solon2 分布式事件总线的技术价值？
分布式事件总线在分布式开发（或微服务开发）时，是极为重要的架构手段。它可以分解响应时长，可以削峰，可以做最终一致性的分布式事务，可以做业务水平扩展。 ......
Masa Framework源码解读-02缓存模块（分布式缓存进阶之多级缓存）
序言 今天这篇文章来看看Masa Framework的缓存设计，上一篇文章中说到的MasaFactory的应用也会在这章节出现。文章中如有错误之处还请指点，咱们话不多说，直入主题。 Masa Framework缓存简介 MASA Framework源码地址：https://github.com/ ......
在 Ubuntu 22 的基础上进行 Hadoop 伪分布式（HDFS）的搭建
一、使用VMware安装Ubuntu虚拟机 推荐可以再下个Xshell用于操作终端。 Xshell免费版官网下载地址：https://www.xshell.com/zh/free-for-home-school/ 二、伪分布式平台搭建 Part1: 准备工作 首先按 ctrl+alt+t 打开终端窗 ......
Spring Cloud Alibaba 整合 Seata 实现分布式事务
在Spring Boot单体服务中，添加@Transactional注解就能实现事务。在单体服务中，执行事务都是在同一个数据库下进行。但是随着业务越来越复杂，数据量越来越大会进行分库分表。在微服务场景下，每个服务都有自己的数据库。之前的单体事务无法处理跨库的事务，这个时候就需要使用分布式事务。 前面 ......
分布式架构-流量治理-流量控制
系列目录 分布式架构-流量治理-服务容错 分布式架构-流量治理-流量控制 引子 任何一个系统的运算、存储、网络资源都不是无限的，当系统资源不足以支撑外部超过预期的突发流量时，便应该要有取舍，建立面对超额流量自我保护的机制，这个机制就是微服务中常说的“限流”。 1.流量统计指标 每秒事务数（Trans ......
分布式架构-可靠通讯-服务安全
系列目录 分布式架构-可靠通讯-零信任网络 分布式架构-可靠通讯-服务安全 引子 上一节“分布式架构-可靠通讯-零信任网络”里，我们探讨了与微服务运作特点相适应的零信任安全模型。本节，我们将从实践和编码的角度出发，介绍在前微服务时代（以 Spring Cloud 为例）和云原生时代（以 Istio ......
【NLP 系列】Bert 词向量的空间分布
我们知道Bert 预训练模型针对分词、ner、文本分类等下游任务取得了很好的效果，但在语义相似度任务上，表现相较于 Word2Vec、Glove 等并没有明显的提升。 ......
redis分布式锁的实现
一.正常加锁 当两个用户同时注册一个用户名时，为保证用户名不能重复，因此对其注册的用户名加锁。 具体步骤： 获得用户注册的用户名，进行判断，如果为空则对其进行加锁，保存到数据库，释放锁资源。 二.线程出现阻塞 当A线程加锁后出现阻塞时，导致数据还没有存到数据库，锁的时间便会失效。 B线程便会执行，对 ......
.Net Core中使用NEST简单操作Elasticsearch
C#中访问Elasticsearch主要通过两个包NEST和Elasticsearch.Net，NEST用高级语法糖封装了Elasticsearch.Net可以通过类Linq的方式进行操作，而Elasticsearch.Net相比之下更为原始直接非常自由。 注意：ES的8.X以上的版本有新的包Ela ......
elasticsearch之日期类型有点怪
一、Date类型简介 elasticsearch通过JSON格式来承载数据的，而JSON中是没有Date对应的数据类型的，但是elasticsearch可以通过以下三种方式处理JSON承载的Date数据 符合特定格式化的日期字符串； 基于milliseconds-since-the-epoch的一个 ......
elasticsearch之使用正则表达式自定义分词逻辑
一、Pattern Analyzer简介 elasticsearch在索引和搜索之前都需要对输入的文本进行分词，elasticsearch提供的pattern analyzer使得我们可以通过正则表达式的简单方式来定义分隔符，从而达到自定义分词的处理逻辑； 内置的的pattern analyzer的 ......
Elasticsearch Mapping类型修改
背景 通常数据库进行分库分表后，目前比较常规的作法，是通过将数据异构到Elasticsearch来提供分页列表查询服务；在创建Elasticsearch索引时，基本都是会参考目前的业务需求、关系数据库中的类型以及对数据的相关规划来定义相关字段mapping的类型. 在Elasticsearch的ma ......
推荐一个分布式单点登录框架XXL-SSO!
有关单点登录(SSO)之前有写过两篇文章 一文读懂 JWT! 看完这篇不能再说不懂SSO原理了！ 如果说XXL-JOB你可能并不陌生,它是非常火爆的一个分布式任务调度平台。但其实在该作者还有一个非常优秀的开源项目叫XXL-SSO,这两个个项目都是1000+Star。 XXL-SSO 是一个分布式单点 ......
分布式机器学习：异步SGD和Hogwild!算法（Pytorch）
同步算法的共性是所有的节点会以一定的频率进行全局同步。然而，当工作节点的计算性能存在差异，或者某些工作节点无法正常工作（比如死机）的时候，分布式系统的整体运行效率不好，甚至无法完成训练任务。为了解决此问题，人们提出了异步的并行算法。在异步的通信模式下，各个工作节点不需要互相等待，而是以一个或多个全局... ......
SQLSERVER 语句交错引发的死锁研究
一：背景 1. 讲故事 相信大家在使用 SQLSERVER 的过程中经常会遇到 阻塞 和 死锁，尤其是 死锁，比如下面的输出： (1 row affected) Msg 1205, Level 13, State 51, Line 5 Transaction (Process ID 62) was ......
SQLSERVER 临时表和表变量到底有什么区别？
一：背景 1. 讲故事 今天和大家聊一套面试中经常被问到的高频题，对，就是 临时表 和 表变量 这俩玩意，如果有朋友在面试中回答的不好，可以尝试看下这篇能不能帮你成功迈过。 二：到底有什么区别 1. 前置思考 不管是 临时表 还是 表变量 都带了 表 这个词，既然提到了 表 ，按推理自然会落到某一个 ......
Centos7搭建hadoop3.3.4分布式集群
1、背景 最近在学习hadoop，本文记录一下，怎样在Centos7系统上搭建一个3个节点的hadoop集群。 2、集群规划 hadoop集群是由2个集群构成的，分别是hdfs集群和yarn集群。2个集群都是主从结构。 2.1 hdfs集群规划 | ip地址 | 主机名 |部署服务| |--|--| ......
从 PyTorch DDP 到 Accelerate 到 Trainer，轻松掌握分布式训练
概述 本教程假定你已经对于 PyToch 训练一个简单模型有一定的基础理解。本教程将展示使用 3 种封装层级不同的方法调用 DDP (DistributedDataParallel) 进程，在多个 GPU 上训练同一个模型： 使用 pytorch.distributed 模块的原生 PyTorch ......