分布式redisson
如何在kubernetes中实现分布式可扩展的WebSocket服务架构
如何在kubernetes中实现分布式可扩展的WebSocket服务架构 How to implement a distributed and auto-scalable WebSocket server architecture on Kubernetes一文中虽然解决是WebSocket长连接问 ......
分布式实时通信—DDS概述
https://blog.yanjingang.com/?p=6716 分布式实时通信—DDS概述 DDS最早应用在美国海军系统，目前已广泛应用于军工、机器人、自动驾驶等领域，国际主流军工厂商、ROS2操作系统等均将DDS作为其控制系统的核心中间件，为各类战舰、机器人等提供可靠、高实时的分布式通信功 ......
cookie和session的区别，分布式环境怎么保存用户状态
1、cookie数据存放在客户的浏览器上，session数据放在服务器上。 2、cookie不是很安全，别人可以分析存放在本地的COOKIE并进行COOKIE欺骗，考虑到安全应当使用session。 3、session会在一定时间内保存在服务器上。当访问增多，会比较占用你服务器的性能，考虑到减轻服务 ......
Redis从入门到放弃（10）：分布式锁
Redis从入门到放弃（10）：分布式锁 在分布式系统中，实现对共享资源的安全访问是一个关键问题。Redis作为一种高性能的内存数据库，提供了多种方式来实现分布式锁，以解决多个节点之间对共享资源的并发访问问题。 本文将介绍五种Redis分布式锁的解决方案及其原理、应用场景以及Java代码的实现步骤。 ......
我是如何用 redis 分布式锁来解决线上历史业务问题的
近期发现，开发功能的时候发现了一个 mq 消费顺序错乱（历史遗留问题），导致业务异常的问题，看看我是如何解决的 问题抛出 首先，简单介绍一下情况： 线上 k8s 有多个 pod 会去消费 mq 中的消息，可是生产者发送的消息是期望一定要有序去消费，此时要表达的是，例如 生产者如果发送了 3 个通知消 ......
xxl-job实现java分布式定时任务
1 前言 1.1 业务场景 业务数据同步(线上数据同步到线下，新平台老平台数据的同步)，消息通知，业务数据的补偿。 1.2 什么是定时任务 定时任务是指基于给定的时间点，给定的时间间隔或者给定执行次数自动的执行程序。任务调度是系统的重要组成部分。任务调度直接影响着系统的实时性。任务调度涉及到多线程并 ......
LAXCUS分布式操作系统是什么？
今天收集了一些用户对Laxcus分布式操作系统的提问，贴出来给大家看看，也许对各位理解Laxcus分布式操作有些帮助。 1. 华为META60手机能够摆脱CIA监控，Laxcus分布式操作系统能不能做到这一点？ 答：完成没问题！Laxcus分布式操作系统是我们团队的全体系自主设计研发，全域安全模 ......
记一次 Redisson 线上问题 → ERR unknown command 'WAIT' 的排查与分析
开心一刻 昨晚和一个朋友聊天 我：处对象吗，咱俩试试？ 朋友：我有对象 我：我不信，有对象不公开？ 朋友：不好公开，我当的小三 问题背景 程序在生产环境稳定的跑着 直到有一天，公司执行组件漏洞扫描，有漏洞的 jar 要进行升级修复 然后我就按着扫描报告将有漏洞的 jar 修复到指定的版本 自己在开发 ......
【分布式锁】
【引入】 【1】为什么要使用分布式锁 我们在开发应用的时候，如果需要对某一个共享变量进行多线程同步访问的时候，可以使用我们学到的锁进行处理，并且可以完美的运行，毫无Bug！ 注意这是单机应用，后来业务发展，需要做集群，一个应用需要部署到几台机器上然后做负载均衡，大致如下图： 上图可以看到 变量A存在 ......
14、liunx环境下部署分布式压测集群
一、java环境安装与配置 官网下载jdk-15.0.1_linux-x64_bin.tar.gz，上传到liunx服务器（官网跳转） 解压文件：tar -xzf jdk-15.0.1_linux-x64_bin.tar.gz，生成文件夹jdk-15.0.1 在/usr/目录下创建java文件夹，将 ......
大规模分布式训练并行模式
大规模分布式训练并行模式 数据并行 Data Parallelism 模型在不同GPU上具有完全一致的副本，包括模型参数、模型梯度、模型优化器状态，这些都是完全相同的。唯一不同的是不同GPU上处理的数据是不同的，在每次梯度更新时，对所有数据产生梯度之和求平均，然后更新。 管道并行 Pipeline ......
分布式缓存与本地缓存的优缺点
本地缓存：1.访问速度快，但是无法进行大数据存储2.集群数据更新问题3.数据随应用的重启而丢失分布式缓存：1.支持大数据量存储，不受应用进程影响2.数据集中存储，保证数据的一致性3.数据读写分离，高性能，高可用4.数据跨网络传输，性能低于本地缓存 ......
1-centOS7搭建伪分布式Hadoop
前言：虚拟机快照的使用 VMware Workstation 软件可以用快照进行迅速的虚拟机状态的切换 ※. 类似于虚拟机备份， 可以使用备份进行快速恢复。 比如没安装jdk之前拍摄快照来备份 ※. 若jdk没安装好或者jdk环境变量配置的有问题， 可以用安装之前的快照快速恢复虚拟机 1.拍摄快照： ......
分布式下AP与CP的区别
在分布式中有一种理论叫CAP理论，C表示数据一致性，A表示系统可用性，P表示分区容错性，提出这个理论的人也指出了CAP这三者间只能有两个同时成立。 先来解释一下P分区容错性,在分布式的情况下，应用都会搭一个集群，比如用户在使用一个服务的时候可能会有多个用户服务端，当一个用户在一个服务端进行了修改了数 ......
深入分布式一致性：Raft 和 etcdRaft
分布式一致性是构建可靠的分布式系统的关键要素之一。为了确保数据的一致性和可用性，一致性算法的设计变得至关重要。在这篇博文中，我们将深入探讨两个与分布式一致性密切相关的主题：Raft 算法和 etcdRaft 存储系统。 ## Raft 算法：分布式一致性的基石 Raft 算法是一种分布式一致性算法， ......
大企业才用的分布式唯一Id，它比GUID好
支持.Net Core(2.0及以上)与.Net Framework(4.5及以上) 可以部署在Docker, Windows, Linux, Mac。 分布式唯一Id，顾名思义，是指在全世界任何一台计算机上都不会重复的唯一Id。 在单机/单服务器/单数据库的小型应用中，不需要用到这类东西。但在高并 ......
locust：Python 分布式压力测试（带WebUI）
Locust 介绍 它采用纯 Python 实现，是一个分布式用户负载测试的工具。 使用基于 Requests 库的客户端发起请求，使编写脚本大大简化; 在模拟并发方面摒弃进程和线程，完全基于时间驱动，采用协程（gevent）提供的非阻塞 IO 和 coroutine 来实现网络层的并发请求。因此单 ......
探索语言的奥秘：我与英汉词性分布的碰撞
在我的语言学之旅中，我一直对比较英语和汉语的词性分布特别感兴趣。最近，我有了一个深入探讨这一题目的机会。下面是我对这一话题的深度探讨和个人见解。 #### 第一章：词性分布的奇妙世界 一天，我被一个看似简单但实则具有深度的问题吸引：“英语是不是比汉语更喜欢用名词？”这使我陷入了沉思。我首先想到的是寻 ......
从一台电脑怎么到的分布式架构？
从单台服务器到分布式服务器的演化过程 1.单台服务器 并发量过大就会出现各种问题 2.把服务器和数据库分离 我把应用和数据库分别部署到不同的服务器上，缓解了负载压力 3.应用服务器集群 出现的问题是： a.需要使用session和cookie维护用户： session用来跟踪用户状态，cookie用 ......
从高斯分布到信息矩阵
# 从高斯分布到信息矩阵 > 本文章的所有证明推导均为个人记录，如有错误欢迎指出，且所有均参考贺一家博士和高翔博士的相关证明，其他的部分参考文献也在文末给出。 [TOC] ## 1. SLAM 问题概率建模 考虑某个状态 $\boldsymbol{\xi}$ ，以及一次与该状态相关的观测 $\mat ......
《动手学深度学习 Pytorch版》 4.9 环境和分布偏移
# 4.9.1 分布偏移的类型 整节理论，详见书本。 # 4.9.2 分布偏移示例 整节理论，详见书本。 # 4.9.3 分布偏移纠正 整节理论，详见书本。 # 4.9.4 学习问题的分类法 整节理论，详见书本。 # 4.9.5 机器学习中的公平、责任和透明度 整节理论，详见书本。 # 练习 （1） ......
pytorch分布式训练报错：Duplicate GPU detected : rank 1 and rank 0 both on CUDA device 35000
之前使用的比较老的torch 1.8.1，换到torch 2.0后报错 "rank 1 and rank 0 both on CUDA device 35000" 将main函数开头部分的初始化 ```python distributed.init_process_group(backend='nc ......
分布式理论 - BASE
> BASE是“Basically Available, Soft state, Eventually consistent(基本可用、软状态、最终一致性)”的首字母缩写。其中的软状态和最终一致性这两种技巧擅于对付存在分区的场合，并因此提高了可用性。 # 什么是BASE > eBay 的架构师 Da ......
分布式理论 - CAP
> CAP理论是分布式系统、特别是分布式存储领域中被讨论的最多的理论。其中C代表一致性 (Consistency)，A代表可用性 (Availability)，P代表分区容错性 (Partition tolerance)。CAP理论告诉我们C、A、P三者不能同时满足，最多只能满足其中两个。 # CA ......
redis分布式锁幂等性问题
一.与Transcational注解同时使用 如果是自定义的切面，切面类要加@Order(Ordered.HIGHEST_PRECEDENCE)， 保证redis锁的切面在事务切面外面，让事务先提交，再释放redis锁。 二.日期字段是datetime 背景：jmeter 500并发测试接口出现重复 ......
4分布数据库系统
全局外模式 全局概念模式 分片模式 分布模式 局部概念模式 局部内模式 局部数据库 分布透明性 分片透明性：分不分片，用户感受不到：水平分片、垂直分片、混合分片 位置透明性：数据存放在哪里，用户不用管 局部数据模型透明性（逻辑透明）：用户不用关系局部数据模型 分布式数据库管理系统组成 LDBMS G ......
分布式锁
## 1.是什么 一个方法或属性在高并发情况下的同一时间只能被同一个线程执行，在传统单体应用单机部署的情况下，可以使用并发处理相关的功能进行互斥控制。但是，随着业务发展的需要，原单体单机部署的系统被演化成分布式集群系统后，由于分布式系统多线程、多进程并且分布在不同机器上，这将使原单机部署情况下的并发 ......