分布式 策略
《Java架构师的第一性原理》33分布式计算之分布式注册中心、分布式配置中心
待补充 1 分布式注册中心 2 分布式配置中心 2.1 Apollo 2.1.1 Apollo是怎样注入到SpringBean的容器里的 99 直接读这些牛人的原文 apollo不使用 MQ 如何实现 pub/sub 场景？ 13张图彻底搞懂分布式系统服务注册与发现原理 为什么 @Value 可以获 ......
《Java架构师的第一性原理》30分布式计算之分布式算法
极客时间 韩健 121.分布式协议与算法实战 00 开篇词 | 想成为分布式高手？那就先把协议和算法烂熟于心吧 为什么要单独讲分布式协议和算法呢？ 在我看来，它其实就是决定分布式系统如何运行的核心规则和关键步骤。 如果一个人想真正搞懂分布式技术，开发出一个分布式系统，最先需要掌握的就是这部分知识。 ......
《Java架构师的第一性原理》32分布式计算之分布式锁（Redis、Zookeeper）
1 这才是真正的分布式锁 技术领域，我觉得了解来龙去脉，了解本质原理，比用什么工具实现更重要： （1）进程多线程如何互斥？ （2）一个手机上两个APP访问一个文件如何互斥？ （3）分布式环境下多个服务访问一个资源如何互斥？ 归根结底，是利用一个互斥才能访问的公共资源来实现分布式锁，具体这个公共资源是 ......
《Java架构师的第一性原理》32分布式计算之分布式缓存第3篇LevelDB
互联网业务，绝大部分场景，会使用缓存服务。 但有时候，确实会使用到进程内存缓存/数据库，这个时候，LevelDB就能派上用场了。啥是LevelDB？LevelDB是Google开发的，一个速度非常块的KV存储库(storage library)，它支持字符串的key与字符串的value，并且这种映射 ......
《Java架构师的第一性原理》32分布式计算之分布式缓存第1篇如何使用Redis搭建玩家排行榜
今天我们用 Redis 搭建一个玩家的排行榜，假设一个服务器存储了 10 万名玩家的数据，我们想给这个区（这台服务器）上的玩家做个全区的排名，该如何用 Redis 实现呢？ 不妨一起来思考下面几个问题： MySQL 是如何实现玩家排行榜的？有哪些难题需要解决？ 如何用 Redis 模拟 10 万名玩 ......
《Java架构师的第一性原理》31分布式计算之微服务RPC（Dubbo）
1 互联网架构，究竟为啥要做服务化 互联网架构，究竟为啥要做服务化？ 2 微服务架构，多“微”才合适？ 微服务架构，多“微”才合适？ 3 离不开的微服务架构，脱不开的RPC细节 离不开的微服务架构，脱不开的RPC细节 3.1 服务化解决的问题 1）服务化需要解决的问题： 一套序列化、反序列化、网络框 ......
一套分布式IM即时通讯系统的技术选型和架构设计
为了更好的理解分布式IM即时通讯系统的设计，我站在架构师的角度，在充分了解系统需求、业务流程和技术流程后，从全局视角为系统设定方案目标，对技术方案进行选型，对系统进行总体架构设计和分层架构设计，并梳理清楚发送消息的交互链路、单聊和群聊的交互链路。希望对你有帮助。 ......
策略模式 Strategy
一、定义 定义了算法家族，分别封装起来，让它们之间可以相互替换 此模式让算法的变化不会影响到使用算法的用户 二、适用场景 系统有很多类，而它们的区别仅仅在于行为不同 一个系统需要动态的在几种算法中选择一种 三、优缺点 1、优点 符合开闭原则 OpenClose 避免使用多重条件转移语句switch ......
从分布式计算的角度看pytorch和TensorFlow哪个更优？
背景： pytorch框架是一个从学术圈出来的框架，因此pytorch并不原生支持分布式计算，而且在大模型火爆的今年以外好像在深度学习领域使用分布式计算的场景确实不多，所以pytorch并不原生支持分布式计算的事情好像也并无大碍，而且pytorch可以通过安装第三方库的方式实现同步形式的分布式计算。 ......
分布式缓存
单点redis的问题 数据丢失问题：Redis是内存存储，服务重启可能会丢失数据。解决：数据持久化 并发能力问题：单节点并发能力不足。解决：主从集群，读写分离。 故障恢复：需要自动的故障恢复手段。解决：Redis哨兵，实现健康检测和自动恢复。 存储能力问题：单节点Redis难以满足海量数据存储。解决 ......
redis分布锁
1.什么是redis分布式锁 Redis分布式锁是一种利用Redis实现的锁机制，用于在分布式系统中保护共享资源的访问。它利用Redis的原子性操作和过期时间设置来实现互斥访问。 在分布式环境中，多个进程或线程可能同时访问共享资源，如果没有合适的机制来保护共享资源，就会导致数据不一致或竞争条件的发生 ......
反爬虫策略收录
反爬虫，是指对扫描器中的网络爬虫环节进行反制，通过一些反制策略来阻碍或干扰爬虫的正常爬行，从而间接地起到防御目的。 下面是一些常见的反爬虫策略的收录 封IP 由于服务器有防火墙（如果防火墙在TCP/UDP层或者它们以下的层做限制是无法绕过的，必须调整真实的物理IP）或者站点程序有相关限流设置，单位时 ......
Seata：打造行业首个分布式事务产品
在 2019 年，我们基于 Dubbo Ecosystem Meetup，收集了 2000 多份关于“在微服务架构，哪些核心问题是开发者最关注的痛点？”的调研问卷。最终分布式事务问题在调研中占比最大，约占 54%。 ......
将Abp默认事件总线改造为分布式事件总线
@目录原理创建分布式事件总线实现自动订阅和事件转发使用启动Redis服务配置传递Abp默认事件传递自定义事件项目地址 原理 本地事件总线是通过Ioc容器来实现的。 IEventBus接口定义了事件总线的基本功能，如注册事件、取消注册事件、触发事件等。 Abp.Events.Bus.EventBus是 ......
seata分布式事务不生效
Fegin调用使用了Fallback降级或抛出的异常被全局处理 解决： 1.通过 GlobalTransactionContext.reload(RootContext.getXID()).rollback() 进行手动回滚 服务A @Service public class ServiceAImp ......
DeepSpeed分布式训练
一、DeepSpeed 总纲 官方文档：DeepSpeed 官方英文文档 cpoy下来的原版 DeepSpeed 模型的训练是使用DeeSpeed引擎完成的 DeepSpeed引擎可以包装任何 torch.nn.module 类型的模型 二、训练 1、通过 deepspeed.initialize ......
分布式资源管理和调度
分布式资源管理和调度 分布式资源管理和调度是指在分布式系统中有效地管理和调度系统中的资源，以满足各种任务的需求。在一个分布式系统中，资源可以包括计算资源（如CPU、内存）、存储资源（如磁盘空间）、网络带宽等。 分布式资源管理的目标是实现高效的资源利用和公平的资源分配。它需要考虑以下几个方面： 资源发 ......
设计模式—策略模式
介绍 在策略模式（Strategy Pattern）中一个类的行为或其算法可以在运行时更改。这种类型的设计模式属于行为型模式。 在策略模式定义了一系列算法或策略，并将每个算法封装在独立的类中，使得它们可以互相替换。通过使用策略模式，可以在运行时根据需要选择不同的算法，而不需要修改客户端代码。 代码 ......
李强 分布式计算、云计算与大数据 作者:林伟伟 著出版社:机械工业出版社出版时间:2015年11月
前 言背景分布式计算从20世纪六七十年代发展到现在，一直是计算机科学技术的理论与应用的热点问题，特别是*近几年，随着互联网、移动互联网、社交网络应用的发展，急需分布式计算的新技术——云计算、大数据，以满足和实现新时代计算机的应用需求。云计算、大数据等新技术本质上是分布式计算的发展和延伸，现有的书籍一 ......
分布式限流
Spring - 高并发系统限流-漏桶算法和令牌桶算法_spring 限流_当走的路甚远的博客-CSDN博客6种 分布式限流方案，我替你整理好了_Micrle_007的博客-CSDN博客 ......
淘汰策略
当Redis的内存空间已经用满时，Redis将根据配置的淘汰策略（maxmemory-policy），进行相应的动作。Redis的淘汰策略共分为以下六种： 1、no-eviction：不删除策略 当达到最大内存限制时，如果还需要更多的内存：直接返回错误 2、allkeys-lru 当达到最大内存限制 ......
技术写作最佳实践与策略指南
技术写作的最佳实践 作为一名技术写作者，遵守既定的最佳实践有助于确保您的工作的一致性、清晰性和整体质量。一些常见的最佳实践包括： 始终考虑受众: 牢记用户视角编写内容。确保技术术语、语言和复杂程度与您的目标读者相匹配。 逻辑地组织内容: 将材料分为章节、子章节、项目符号列表和表格。使用标题帮助读者浏 ......
【转载】Springboot2.x 使用 Redisson 分布式可重入锁
参考 https://blog.csdn.net/weixin_43749805/article/details/131399516 https://github.com/redisson/redisson （官方仓库） https://github.com/redisson/redisson/tr ......
spring boot 配置get方法枚举转换策略
配置转换器 @SuppressWarnings({"rawtypes", "unchecked"}) public class CompositeEnumConverterFactory implements ConverterFactory<String, Enum<?>> { @Override ......
10.自动化测试定位策略
App 定位方式 定位策略描述 Accessibility ID 识别一个唯一的 UI 元素，对于 XCUITest 引擎，它对应的的属性名是 accessibility-id，对于 Android 系统的页面元素，对应的属性名是 content-desc Class name 对于 iOS 系统， ......
销售点分布调查
题目描述 终端部门按层级管理销售负责人，即：销售总裁直接对接公司分布在若干个国家的销售负责人，每个国家的销售负责人对接本国各大区负责人，大区负责人对接本区内各省负责人，各省负责人对接本省各市负责人等等…… 这里假设每个级别的负责人都仅向唯一的上级领导汇报。 假设共有N（N<100）位销售负责人，每人 ......
淘汰策略
当Redis的内存空间已经用满时，Redis将根据配置的淘汰策略（maxmemory-policy），进行相应的动作。Redis的淘汰策略共分为以下六种： 1、no-eviction：不删除策略 当达到最大内存限制时，如果还需要更多的内存：直接返回错误 2、allkeys-lru 当达到最大内存限制 ......
分布式锁
一、为什么使用分布式锁 保障集群服务的一致性 二、Redis 分布式锁实现 1、Java客户端现有问题 在程序运行结束和释放锁的两步操作中会存在时间窗口，可能存在线程不安全问题 2、使用Lua脚本实现 -- 目标：获取缓存值，如值与预期相等，则释放分布式锁 -- Lua 内置了一个 redis 对象 ......
分布式架构的演变过程
1. 单应用架构 此时用户量很少，所有功能全部都在一个应用中，应用和数据库部署在一台机器上。 2. 应用服务器和数据库服务器分离 随着系统访问量的再度增加，webserver机器的压力在高峰期会上升到比较高，这个时候开始考虑增加一台服务器，将数据库分离出去。 3. 应用服务器集群 突然有一天，发现系 ......