分布式 中间件zookeeper作用
自己新建的一个项目作为分布式的调研学习以及使用功能的启动消息如下
D:\work\Java\jdk-17.0.4.1\bin\java.exe -agentlib:jdwp=transport=dt_socket,address=127.0.0.1:1117,suspend=y,server=n -XX:TieredStopAtLevel=1 -Dspring.o ......
《Java架构师的第一性原理》35分布式计算之分布式事务（TCC、最终一致性、Seata）
1 常见分布式实现方案介绍 1.1 XA方案 有一个事务管理器的概念，负责协调多个数据库（资源管理器）的事务 不适合高并发场景，严重依赖数据库层面，同步阻塞问题；协调者故障则所有参与者会阻塞 1.2 TCC方案 严重依赖代码补偿和回滚，一般银行用，和钱相关的支付、交易等相关的场景，我们会用TCC T ......
《Java架构师的第一性原理》38分布式计算之微服务SpingCloud
1 微服务简介 1.1 什么是微服务 微服务是最近的一两年的时间里是很火的一个概念。感觉不学习一下都快跟不上时代的步伐了，下边做一下简单的总结和介绍。 何为微服务？简而言之，微服务架构风格这种开发方法，是以开发一组小型服务的方式来开发一个独立的应用系统的。其中每个小型服务都运行在自己的进程中，并经常 ......
《Java架构师的第一性原理》36分布式计算之分布式监控分布式链路跟踪（CAT、SkyWalking、Zipkin）
分布式链路跟踪 99 直接读这些牛人的原文 大众点评CAT开源监控系统剖析 一文带你看懂，SkyWalking分布式追踪系统原理及实践 SkyWalking —— 分布式应用监控与链路追踪 全面解析微服务系统监控分层，啃透服务治理核心！ ......
《Java架构师的第一性原理》32分布式计算之分布式锁（Redis、Zookeeper）
1 这才是真正的分布式锁 技术领域，我觉得了解来龙去脉，了解本质原理，比用什么工具实现更重要： （1）进程多线程如何互斥？ （2）一个手机上两个APP访问一个文件如何互斥？ （3）分布式环境下多个服务访问一个资源如何互斥？ 归根结底，是利用一个互斥才能访问的公共资源来实现分布式锁，具体这个公共资源是 ......
《Java架构师的第一性原理》33分布式计算之分布式注册中心、分布式配置中心
待补充 1 分布式注册中心 2 分布式配置中心 2.1 Apollo 2.1.1 Apollo是怎样注入到SpringBean的容器里的 99 直接读这些牛人的原文 apollo不使用 MQ 如何实现 pub/sub 场景？ 13张图彻底搞懂分布式系统服务注册与发现原理 为什么 @Value 可以获 ......
《Java架构师的第一性原理》30分布式计算之分布式算法
极客时间 韩健 121.分布式协议与算法实战 00 开篇词 | 想成为分布式高手？那就先把协议和算法烂熟于心吧 为什么要单独讲分布式协议和算法呢？ 在我看来，它其实就是决定分布式系统如何运行的核心规则和关键步骤。 如果一个人想真正搞懂分布式技术，开发出一个分布式系统，最先需要掌握的就是这部分知识。 ......
《Java架构师的第一性原理》32分布式计算之分布式缓存第3篇LevelDB
互联网业务，绝大部分场景，会使用缓存服务。 但有时候，确实会使用到进程内存缓存/数据库，这个时候，LevelDB就能派上用场了。啥是LevelDB？LevelDB是Google开发的，一个速度非常块的KV存储库(storage library)，它支持字符串的key与字符串的value，并且这种映射 ......
《Java架构师的第一性原理》32分布式计算之分布式缓存第1篇如何使用Redis搭建玩家排行榜
今天我们用 Redis 搭建一个玩家的排行榜，假设一个服务器存储了 10 万名玩家的数据，我们想给这个区（这台服务器）上的玩家做个全区的排名，该如何用 Redis 实现呢？ 不妨一起来思考下面几个问题： MySQL 是如何实现玩家排行榜的？有哪些难题需要解决？ 如何用 Redis 模拟 10 万名玩 ......
《Java架构师的第一性原理》31分布式计算之微服务RPC（Dubbo）
1 互联网架构，究竟为啥要做服务化 互联网架构，究竟为啥要做服务化？ 2 微服务架构，多“微”才合适？ 微服务架构，多“微”才合适？ 3 离不开的微服务架构，脱不开的RPC细节 离不开的微服务架构，脱不开的RPC细节 3.1 服务化解决的问题 1）服务化需要解决的问题： 一套序列化、反序列化、网络框 ......
易基因： RNA m7G甲基化修饰的生物学功能及其在癌症中的作用｜综述
大家好，这里是专注表观组学十余年，领跑多组学科研服务的易基因。 m7G修饰是RNA转录后修饰之一，存在于许多不同类型的RNA中。通过对RNA中m7G修饰的准确鉴定，揭示了m7G在基因表达调控和不同生理功能中的作用。越来越多的证据表明，m7G修饰在癌症发生中至关重要。本文综述了m7G的检测技术、分布、 ......
新能源CRM系统是什么？有什么作用？
化石能源对环境的影响是显而易见的。近些年，人们对清洁能源的需求不断增加，推动了新能源企业的高速发展。CRM管理系统是新能源企业进行客户管理与提高效率的实用工具，在新能源企业中很受欢迎。新能源CRM有什么作用？ 一、擘画客户画像： CRM客户关系管理系统能通过官网访客、报表、销售记录等途径自动收集与客 ......
一套分布式IM即时通讯系统的技术选型和架构设计
为了更好的理解分布式IM即时通讯系统的设计，我站在架构师的角度，在充分了解系统需求、业务流程和技术流程后，从全局视角为系统设定方案目标，对技术方案进行选型，对系统进行总体架构设计和分层架构设计，并梳理清楚发送消息的交互链路、单聊和群聊的交互链路。希望对你有帮助。 ......
sqlite3不起作用的原因
sqlite3不起作用的原因有三：1.当使用npm install sqlite3安装节点sqlite3时，它获取所有依赖项并安装它。然后获取目标架构和平台的预编译二进制绑定文件。在我的例子中，我们希望napi-v6-darwin-unknown-arm64用于ARM 64，达尔文用于Apple M ......
从分布式计算的角度看pytorch和TensorFlow哪个更优？
背景： pytorch框架是一个从学术圈出来的框架，因此pytorch并不原生支持分布式计算，而且在大模型火爆的今年以外好像在深度学习领域使用分布式计算的场景确实不多，所以pytorch并不原生支持分布式计算的事情好像也并无大碍，而且pytorch可以通过安装第三方库的方式实现同步形式的分布式计算。 ......
分布式缓存
单点redis的问题 数据丢失问题：Redis是内存存储，服务重启可能会丢失数据。解决：数据持久化 并发能力问题：单节点并发能力不足。解决：主从集群，读写分离。 故障恢复：需要自动的故障恢复手段。解决：Redis哨兵，实现健康检测和自动恢复。 存储能力问题：单节点Redis难以满足海量数据存储。解决 ......
redis分布锁
1.什么是redis分布式锁 Redis分布式锁是一种利用Redis实现的锁机制，用于在分布式系统中保护共享资源的访问。它利用Redis的原子性操作和过期时间设置来实现互斥访问。 在分布式环境中，多个进程或线程可能同时访问共享资源，如果没有合适的机制来保护共享资源，就会导致数据不一致或竞争条件的发生 ......
自定义中间件
自定义中间件 自定义步骤： -写一个类，继承MiddlewareMixin -里面写方法process_request（请求来了，一定会触发它的执行） -在setting中配置(注意，放在前和放在后) MIDDLEWARE = [ ... 'app01.mymiddle.MyMiddleware1' ......
pycharm中间件简介
个人理解： # 中间件顾名思义，是介于request与response处理之间的一道处理过程，相对比较轻量级，并且在全局上改变django的输入与输出。因为改变的是全局，所以需要谨慎实用，用不好会影响到性能 # django内置中间件 'django.middleware.security.Secu ......
Seata：打造行业首个分布式事务产品
在 2019 年，我们基于 Dubbo Ecosystem Meetup，收集了 2000 多份关于“在微服务架构，哪些核心问题是开发者最关注的痛点？”的调研问卷。最终分布式事务问题在调研中占比最大，约占 54%。 ......
将Abp默认事件总线改造为分布式事件总线
@目录原理创建分布式事件总线实现自动订阅和事件转发使用启动Redis服务配置传递Abp默认事件传递自定义事件项目地址 原理 本地事件总线是通过Ioc容器来实现的。 IEventBus接口定义了事件总线的基本功能，如注册事件、取消注册事件、触发事件等。 Abp.Events.Bus.EventBus是 ......
简介PAM的认证过程及各PAM文件的作用
MySQL用户运行MySQL服务时最大能打开的文件数，是由limits.conf文件和pam_limits.so模块共同决定的。pam_limits.so模块是一个PAM（插入式认证模块）的组件，它可以在用户登录时设置一些资源限制，例如打开文件数、内存使用量、进程数等。limits.conf文件是p ......
seata分布式事务不生效
Fegin调用使用了Fallback降级或抛出的异常被全局处理 解决： 1.通过 GlobalTransactionContext.reload(RootContext.getXID()).rollback() 进行手动回滚 服务A @Service public class ServiceAImp ......
having在SQL里的作用以及和where的区别
1.where和having都是过滤数据的作用，且都是根据某个“字段”来过滤数据，区别在于： where是根据from的表里的行数据来过滤，比如where aa > 1表示查出from的表里aa字段>1的所有行； where可以不和group by一起用； 而having是对已经分组（聚合）的组进行 ......
数据库系列：业内主流MySQL数据中间件梳理
数据库系列：MySQL慢查询分析和性能优化 数据库系列：MySQL索引优化总结（综合版） 数据库系列：高并发下的数据字段变更 数据库系列：覆盖索引和规避回表 数据库系列：数据库高可用及无损扩容 数据库系列：使用高区分度索引列提升性能 数据库系列：前缀索引和索引长度的取舍 数据库系列：MySQL引擎M ......
DeepSpeed分布式训练
一、DeepSpeed 总纲 官方文档：DeepSpeed 官方英文文档 cpoy下来的原版 DeepSpeed 模型的训练是使用DeeSpeed引擎完成的 DeepSpeed引擎可以包装任何 torch.nn.module 类型的模型 二、训练 1、通过 deepspeed.initialize ......
分布式资源管理和调度
分布式资源管理和调度 分布式资源管理和调度是指在分布式系统中有效地管理和调度系统中的资源，以满足各种任务的需求。在一个分布式系统中，资源可以包括计算资源（如CPU、内存）、存储资源（如磁盘空间）、网络带宽等。 分布式资源管理的目标是实现高效的资源利用和公平的资源分配。它需要考虑以下几个方面： 资源发 ......
中型企业CRM系统的功能和作用 | CRM系统的选型和实施指南
酒香也怕巷子深，没有客户的企业哪怕产品再好也没有收益。中型企业培育良好的客户关系至关重要。这正是CRM管理系统发挥作用的地方。CRM系统不仅仅是联系人管理，还提供了一系列强大的功能，可以优化从初始接触到售后参与的整个客户旅程。但是，由于可用的功能众多，想要让CRM发挥全部实力有点“强人所难”。本文详 ......