分布式elasticsearch redis-cluster cluster
分布式布隆过滤器
# 1. 分布式布隆过滤器的价值 集群环境太浪费系统资源、集群环境也不容易对布隆过滤器进行维护，所以采用Redisson框架的分布式布隆过滤器。 # 2. Redisson提供的分布式布隆过滤器的使用 ```java // 获取一个分布式的布隆过滤器(RedissonClient) RBloomFi ......
读发布！设计与部署稳定的分布式系统（第2版）笔记33_混沌工程
 # 1. 康威定律 ## 1.1. 梅尔文·康威 ### 1.1.1. Melvin Conway ### 1.1 ......
Songshan-Lake Cluster
Songshan Lake Laboratory Platform for Data Driven Computational Materials Discovery Tiangong Supercomputer SYSTEM OVERVIEW: Tiangong consists of 4 log ......
Redis分布式锁笔记
1 redis 分布式锁实现原理 所谓分布式锁，应当基本如下几项核心性质： • 独占性：对于同一把锁，在同一时刻只能被一个取锁方占有，这是锁最基础的一项特征 • 健壮性：即不能产生死锁（dead lock）. 假如某个占有锁的使用方因为宕机而无法主动执行解锁动作，锁也应该能够被正常传承下去，被其他使 ......
读发布！设计与部署稳定的分布式系统（第2版）笔记32_适应性
 # 1. 变化就是软件的特性 ## 1.1. 变化保证天天有，存活保障无处寻 ## 1.2. 非每一款软件每天都需 ......
Copula估计边缘分布模拟收益率计算投资组合风险价值VaR与期望损失ES|附代码数据
全文链接：http://tecdat.cn/?p=24753 最近我们被客户要求撰写关于风险价值的研究报告，包括一些图形和统计输出。 在这项工作中，我通过创建一个包含四只基金的模型来探索 copula，这些基金跟踪股票、债券、美元和商品的市场指数 摘要 然后，我使用该模型生成模拟值，并使用实际收益和 ......
分布式存储系统举例剖析（elasticsearch，kafka，redis-cluster）
1. 概述 对于分布式系统，人们首先对现实中的分布式系统进行高层抽象，然后做出各种假设，发展了诸如CAP, FLP 等理论，提出了很多一致性模型，Paxos 是其中最璀璨的明珠。我们对分布式系统的时序，复制模式，一致性等基础理论特别关注。 在共识算法的基础上衍生了选举算法，并且为分布式事务提供了部分 ......
分布式锁-lua脚本
// 工具类@Component public class RedisLock { @Autowired private RedisTemplate redisTemplate; // 时间轮异步定时执行 private HashedWheelTimer timer = new HashedWhee ......
关于分布式锁的思考
词汇： 任务：能在CPU上运行的指令段 资源：能存储在内存或硬盘的任何数据 节点：执行任务的实例 背景： 由于现代计算机的发展，大任务大部分时候需要拆分成小任务去并行执行。单台计算机：批处理脚本->多线程->多核并行->协程，再到现在的虚拟机->容器->微服务等等。都是做隔离和拆分，将大任务拆解成小 ......
分布式缓存项目RQCache（Go）
在计算机系统中，缓存无处不在，比如我们访问一个网页，网页和引用的 JS/CSS 等静态文件，根据不同的策略，会缓存在浏览器本地或是 CDN 服务器，那在第二次访问的时候，就会觉得网页加载的速度快了不少；比如微博的点赞的数量，不可能每个人每次访问，都从数据库中查找所有点赞的记录再统计，数据库的操作是很 ......
【分布式技术专题】「分布式ID系列」百度开源的分布式高性能的唯一ID生成器UidGenerator
[推荐超值课程：点击获取](https://www.sanzhishu.top/) ### UidGenerator是什么 UidGenerator是百度开源的一款分布式高性能的唯一ID生成器，更详细的情况可以查看[官网集成文档](https://github.com/baidu/uid-gener ......
分布式事务
2023.8.17 先假设我们有一个订单系统，收到请求之后，我们要干这几件事： 1.生成订单 2.清空购物车 3.生成积分 4.1号账户扣款 5.2号账户收款 收到请求的服务是A，最慢的办法，我们在这个请求的接口中串行的调用其他服务中的接口，有异常，或者设计好请求的返回（理想情况，都有可以拿到的返回 ......
Elasticsearch滚动索引
Elasticsearch滚动索引 随着业务支撑，es中日志索引中数据越来越大，查询效率下降，TB基本数据必须要对索引进行优化，优化第一步就是滚动索引 创建索引模板 PUT http://ip:9200/_template/test_idx_tpl { "settings": { "index": ......
spring boot 集成 Elasticsearch
一、背景 最近在做录制回放平台， 因为需要把部分数据存储到ES，因此特地实践和调研了一把，把相关材料记录一下； elastcishearch 版本：7.14.2 spring boot版本：2.6.13 spring-boot-starter-data-elasticsearch: 2.6.13 版 ......
【ES】ElasticSearch中"distinct","count"和"group by"的实现
## distinct 实现 1： > SELECT DISTINCT(user_id) FROM table WHERE user_id_type = 3; ``` { "query": { "term": { "user_id_type": 3 } }, "collapse": { "field ......
分布式可视化 DAG 任务调度系统 Taier 的整体流程分析
Taier 作为[袋鼠云](https://www.dtstack.com/?src=szsm)的[开源项目](https://www.dtstack.com/?src=szsm)之一，是一个[分布式可视化的 DAG 任务调度系统](https://www.dtstack.com/?src=szsm ......
elasticsearch中的数据类型search_as_you_type及查看底层Lucene索引
search_as_you_type字段类型用于自动补全，当用户输入搜索关键词的时候，还没输完就可以提示用户相关内容。as_you_type应该是说当你打字的时候。它会给索引里的这个类型的字段添加一些子字段_2gram _3gram和_index_prefix。_2gram的意思是，如果一个值是ab ......
elasticsearch kibana
https://www.elastic.co/downloads/kibana https://www.elastic.co/downloads/elasticsearch http://localhost:9200/ http://localhost:5601/?code=568262 # 自动生 ......
elasticsearch中的数据类型：flattened和join
flattened：比如你有一个字段的值是一个json，这个json里面又有很多字段，你又不想一个一个的定义这些字段到mapping，就可以用flattened 直接动手：创建索引： PUT person { "mappings": { "properties": { "patient_name": ......
IM消息ID技术专题(七)：深度解密vivo的自研分布式ID服务(鲁班)
本文通过对分布式ID的3种应用场景、实现难点以及9种分布式ID的实现方式进行介绍，并对结合vivo业务场景特性下自研的鲁班分布式ID服务从系统架构、ID生成规则与部分实现源码进行分享，希望为本文的阅读者在分布式ID的方案选型或技术自研提供参考。 ......
什么是LAXCUS分布式操作系统？
对于LAXCUS分布式操作系统的特征特点，总有网友各种询问，在这里简要回答一下。 相较Linux、Windows，Laxcus是同时在多台计算机上运行的操作系统，处理大规模、高并发、高性能业务，其特点是资源共享和任务并行，并实现【数存算管】超融合一体化。环境中的资源：CPU、GPU、内存、硬盘、网络 ......
Jmeter 分布式压测
****jmeter 分布式1.windows 做控制机 controller，linux 做压测机 agent;2.复制一份 jmeter 工具包做slave/agent ，修改 jmeter 配置： jmeter.properties -> server_port=1099server.rmi. ......
SpringBoot3集成ElasticSearch
Elasticsearch是一个分布式、RESTful风格的搜索和数据分析引擎，适用于各种数据类型，数字、文本、地理位置、结构化数据、非结构化数据； ......
分布式环境下的幂等控制
### 简介 接口的幂等性：相同的请求参数，多次请求结果一致。相同请求无论发起多少次，服务器只会处理一次，或者处理多次结果一样 ### 需要幂等的场景 查询接口 下单时防止重复请求 内部服务异常重试等等 ### 如何保证幂等 幂等首先是需要分辨出是否为重复请求。假如是简单的select查询，是天然的 ......
Elasticsearch 保姆级入门篇
 Elasticsearch 是一个分布式的、面向生产规模工作负载优化的搜索引擎。 Kibana 可以将 Elast ......
分布式版本控制系统（一）
# 分布式版本控制系统（一） [TOC] ##1、Git、Github、Gitlab 的区别 >- Git是一个开源的分布式版本控制系统，用于敏捷高效地处理任何或小或大的项目。是 Linus Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件。git是一套软件，可 ......
Python用PyMC贝叶斯GLM广义线性模型、NUTS采样器拟合、后验分布可视化
全文链接：https://tecdat.cn/?p=33436 原文出处：拓端数据部落公众号 尽管贝叶斯方法相对于频率主义方法的理论优势已经在其他地方进行了详细讨论，但其更广泛采用的主要障碍是“可用性”。而使用贝叶斯方法，客户可以按照自己认为合适的方式定义模型。 线性回归 在此示例中，我们将帮助客户 ......
基于Redis的分布式锁
在多线程的环境下，为了保证一个代码块在同一时间只能由一个线程访问，Java中我们一般可以使用synchronized语法和ReetrantLock去保证，这实际上是本地锁的方式。但是现在公司都是流行分布式架构，在分布式环境下，如何保证不同节点的线程同步执行呢？ 实际上，对于分布式场景，我们可以使用分 ......
大数据分布式存储
为什么需要分布式存储？ 数据量太大，单机存储能力有上限，需要靠数量来解决问题 数量的提升带来的是网络传输、磁盘读写、CPU、内存等各方面的综合提升。 分布式组合在一起可以达到1+1>2的效果 1. 分布式系统常见的组织形式？ 去中心化模式：没有明确中心，大家协调工作 中心化模式：有明确的中心，基于中 ......