异质 分布式 偏好 机制
【缓存】本地缓存、分布式缓存以及多级缓存
### 什么是本地缓存、分布式缓存以及多级缓存 - 本地缓存， 这个用得最多，使用个 HashMap, ConcurrentHashMap, 本地存储一些进程内频繁使用的变量。或者引入像Caffine 这种可以有过期的就更好了 - 分布式缓存：像 memcache， redis 这种也没什么好说的了 ......
深入剖析Linux IO原理和几种零拷贝机制的实现
https://www.cnblogs.com/lsgxeva/p/11619464.html 来源 https://zhuanlan.zhihu.com/p/83398714 零壹技术栈 公众号【零壹技术栈】 前言 零拷贝（Zero-copy）技术指在计算机执行操作时，CPU 不需要先将数据从一个 ......
《深度剖析CPython解释器》16. Python函数机制的深度解析(第三部分): 闭包的底层实现以及调用
https://www.cnblogs.com/traditional/p/13580694.html 楔子 上一篇我们看了函数是如何调用的，这一次我们看一下函数中局部变量的访问、以及闭包相关的知识。 函数中局部变量的访问 我们说过函数的参数和函数内部定义的变量都属于局部变量，所以它也一样是通过静态 ......
Pytorch 分布式训练
Pytorch DDP分布式训练介绍 近期一直在用torch的分布式训练，本文调研了目前Pytorch的分布式并行训练常使用DDP模式(Distributed DataParallell )，从基本概念，初始化启动，以及第三方的分布式训练框架展开介绍。最后以一个Bert情感分类给出完整的代码例子：t ......
Pytorch rendezvous 分布式
PyTorch中的rendezvous后端是一种服务，它帮助分布式训练作业中的进程相互发现并协商角色和等级。它还提供了一个屏障和一个一致的作业成员和状态视图。 rendezvous后端是作为torch.distributed.elastic.rendezvous.RendezvousHandler的 ......
神经网络 精灵 正太分布 AI画图 diffusion model 扩散模型
DLAI - Learning Platform Beta https://learn.deeplearning.ai/diffusion-models/lesson/2/intuition 翻译 搜索 复制 ......
SequoiaDB分布式数据库2023.5月刊
本月看点速览 行业认可，荣登中国最佳信创厂商系列榜单 聚焦创新，入选2022年大湾区科创企业创新TOP10 科技为本，协同发展，多家组织机构到访 青杉计划2023已开启，一起攀登更高的“杉” 行业认可，荣登中国最佳信创厂商系列榜单 近日，由第一新声联合天眼查发起的2023年中国最佳信创厂商系列榜单正 ......
对隔离级别、事务并发问题、当前读和快照读、相关锁机制的思考
InnoDB存储引擎涉及事务的四大隔离级别（RU）读未提交、（RC）读已提交、（RR）可重复读、（Serializable）串行化 相对事务并发产生的问题：脏读、不可重复读、幻读 隔离级别对应事务：RU什么都解决不了，RC解决脏读、RR解决脏读和不可重复读、Serializable都解决 其中涉及的 ......
Hazelcast分布式计算的demo
下面是一个使用Java实现的Hazelcast分布式计算的示例代码： ```java import com.hazelcast.core.Hazelcast; import com.hazelcast.core.HazelcastInstance; import com.hazelcast.core ......
【十七】Python中的反射机制(4)
### 【十七】Python中的反射机制(4) #### 【1】什么是反射？ - 反射指在程序运行过程中可以动态获取对象的信息。 - **是通过字符串的形式**，导入模块； - 通过字符串的形式，去模块**寻找指定函数**，并执行。 - 利用字符串的形式去对象中操作成员，一种**基于字符串的驱动** ......
Zookeeper - 分布式安装部署
集群规划 安装部署 集群规划 序号 主机名 JDK Zookeeper 1 node01 ✔ ✔ 2 node02 ✔ ✔ 3 node03 ✔ ✔ 安装部署 1、将zookeeper安装包解压到合适的目录 tar -zxvf zookeeper-x.x.x.tar.gz -C /opt/modul ......
在学习分布式系统时遇到的五个常见误解
哈喽大家好，我是咸鱼 我们知道，随着企业规模或者说业务规模的不断扩大，为了应对不断增长的业务需求和提高系统的可伸缩性、可靠性和性能，计算机系统由一开始的单体系统逐渐发展成分布式系统 那么今天咸鱼给大家介绍一些关于小白在学习分布式系统遇到的一些常见误解 ## 误解1.网络是可靠的 **在分布式系统中， ......
分布式事务
# 分布式事务 ## 回顾事务 > 什么是事务 ？ > > - 一组对数据库的操作，整体要么一起成功，要么一起失败 > > 事务的特性？ > > - 一致性 > - 原子性 > > 在项目中做事务控制 ？ 怎么做 ？ > > - 在启动类上加@EnableTransactonManager > - ......
Linux 初始化之 Systemd机制
systemd是Linux下的一种init软件，由Lennart Poettering带头开发，其开发目标是提供更优秀的框架以表示系统服务间的依赖关系，并依此实现系统初始化时服务的并行启动，同时达到降低Shell的系统开销的效果，最终代替现在常用的System V与BSD风格init程序。传统sys ......
内核mutex实现机制
# mutex mutex是内核中的互斥锁实现，本文对内核中的mutex机制进行了学习，在此记录一下。 ## mutex结构体和定义 ```c struct mutex { atomic_long_t owner; //mutex持有的task spinlock_t wait_lock; //wai ......
基于multiprocessing map实现python并行化（全局变量共享 map机制实用向分析 常见问题 pandas存储数据）
转载：(15条消息) 基于multiprocessing map实现python并行化（全局变量共享 map机制实用向分析 常见问题 pandas存储数据）_goto_past的博客-CSDN博客 基于multiprocessing map实现python并行化之前从来没考虑python可以并行化， ......
服务质量_QOS【管制和拥塞避免机制】
服务质量_QOS【标记和队列】：https://www.cnblogs.com/good-study/p/16160592.html 1.1 区分服务模型配置步骤： 分类classfication/标记Marking 管制Policing/整形Shaping 限速 拥塞避免机制RED WRED 防止 ......
redis持久化机制有哪些
Redis提供了RDB和AOF两种持久化机制。 RDB RDB，就是把内存数据以快照的形式保存到磁盘上。 什么是快照?可以这样理解，给当前时刻的数据，拍一张照片，然后保存下来。RDB持久化，是指在指定的时间间隔内，执行指定次数的写操作，将内存中的数据集快照写入磁盘中，它是Redis默认的持久化方式。 ......
备份 Windows 系统和文件数据是一种非常重要的保护机制，可以帮助我们在系统故障、数据丢失或者其他问题发生时快速恢复到之前的状态。下面是一些备份 Windows 系统和文件数据的方法
备份 Windows 系统和文件数据是一种非常重要的保护机制，可以帮助我们在系统故障、数据丢失或者其他问题发生时快速恢复到之前的状态。下面是一些备份 Windows 系统和文件数据的方法： 使用内置备份工具：Windows 操作系统自带了一个备份工具，叫做“备份和还原”。这个工具可以让你备份整个系统 ......
分布式锁& 分布式事务
[toc] ## 分布式事务 ### 什么是分布式事务？ 分布式事务是指涉及多个参与方的事务操作，这些参与方可以位于不同的物理节点或不同的系统之间，需要保证所有参与方的操作要么全部成功，要么全部失败，保持数据的一致性。 ### 分布式事务的实现方式有哪些？ 常见的分布式事务实现方式包括两阶段提交（2 ......
Python的分布式网络爬虫
分布式爬虫其实就是指利用多台计算机分布式地从互联网上采集数据的一种爬虫。它可以把大规模的任务分解成若干小规模的，由多台计算机并行进行处理，大大提高了效率和速度。 分布式爬虫有很多优势：解决单机爬虫效率低的问题，分布式爬虫可以将任务分配给多个节点并行处理，大大提高了效率和速度。可以节省带宽和内存资源， ......
图解Redis和Zookeeper分布式锁
使用Redis还是Zookeeper来实现分布式锁，最终还是要基于业务来决定，可以参考以下两种情况：
（1）如果业务并发量很大，Redis分布式锁高效的读写性能更能支持高并发
（2）如果业务要求锁的强一致性，那么使用Zookeeper可能是更好的选择 ......
分布式事务1
普通的单系统事务，本地事务可用 ACID 解决； 但是现在都是分布式系统，此时本第十五已经不够看了，需要 考虑到分布式事务。 一致性(consitency)：用户访问分布式系统中的任意节点，得到的数据必须一致 可用性(availability)：用户访问集群中的任意健康节点，必须能得到响应，而不是超 ......
《可伸缩服务架构-框架与中间件》-01-分布式发号器
本文主要是设计一款永不重复的高性能分布式发号器。 源码地址——码云：https://gitee.com/robertleepeak/vesta-id-generator Vesta是一款通用的ID产生器，互联网俗称统一发号器，它具有全局唯一、粗略有序、可反解和可制造等特性，它支持三种发布模式：嵌入发 ......
Redis系列13：分布式锁实现
[Redis系列1：深刻理解高性能Redis的本质](https://www.cnblogs.com/wzh2010/p/15886787.html "Redis系列1：深刻理解高性能Redis的本质") [Redis系列2：数据持久化提高可用性](https://www.cnblogs.com/w ......
详解RocketMQ 顺序消费机制
摘要：顺序消息是指对于一个指定的 Topic ，消息严格按照先进先出（FIFO）的原则进行消息发布和消费，即先发布的消息先消费，后发布的消息后消费。 本文分享自华为云社区《RocketMQ 顺序消费机制》，作者： 勇哥java实战分享 。 顺序消息是指对于一个指定的 Topic ，消息严格按照先进先 ......
yolov5内存分布分析
# yolov5内存分布分析 ## Transpose输出分析 假设batch_size为1，yolov5有三个输出，shape分别是： - （1,3,80,80,85) - （1,3,40,40,85) - （1,3,20,20,85) 其中3代表anchor数量，20*20代表feature_m ......
Redis+分布式+秒杀
## 聊一下MySQL 关于mysql关系型数据库的一些分析： 1、从性能上：如果我们碰到需要执行耗时特别久，并且执行结果不是很频繁变动的SQL语句，我们就没有必要每次都去查询数据库，因为每次操作数据库都很耗时。 2、从并发上：在大并发的情况下（比如618秒杀活动，你敢让千万级的请求直接打到数据库上 ......
RocketMQ 顺序消费机制
顺序消息是指对于一个指定的 Topic ，消息严格按照先进先出（FIFO）的原则进行消息发布和消费，即先发布的消息先消费，后发布的消息后消费。 顺序消息分为**分区顺序消息**和**全局顺序消息**。 **1、分区顺序消息** 对于指定的一个 Topic ，所有消息根据 Sharding Key 进 ......