思考题 分布式mvc-mvp-mvvm架构
Python的分布式网络爬虫
分布式爬虫其实就是指利用多台计算机分布式地从互联网上采集数据的一种爬虫。它可以把大规模的任务分解成若干小规模的，由多台计算机并行进行处理，大大提高了效率和速度。 分布式爬虫有很多优势：解决单机爬虫效率低的问题，分布式爬虫可以将任务分配给多个节点并行处理，大大提高了效率和速度。可以节省带宽和内存资源， ......
图解Redis和Zookeeper分布式锁
使用Redis还是Zookeeper来实现分布式锁，最终还是要基于业务来决定，可以参考以下两种情况：
（1）如果业务并发量很大，Redis分布式锁高效的读写性能更能支持高并发
（2）如果业务要求锁的强一致性，那么使用Zookeeper可能是更好的选择 ......
由C# yield return引发的思考
### 前言 当我们编写 C# 代码时，经常需要处理大量的数据集合。在传统的方式中，我们往往需要先将整个数据集合加载到内存中，然后再进行操作。但是如果数据集合非常大，这种方式就会导致内存占用过高，甚至可能导致程序崩溃。 C# 中的`yield return`机制可以帮助我们解决这个问题。通过使用`y ......
分布式事务1
普通的单系统事务，本地事务可用 ACID 解决； 但是现在都是分布式系统，此时本第十五已经不够看了，需要 考虑到分布式事务。 一致性(consitency)：用户访问分布式系统中的任意节点，得到的数据必须一致 可用性(availability)：用户访问集群中的任意健康节点，必须能得到响应，而不是超 ......
构建AI应用的几种范式思考
一、基础LLM模型的局限与对应的研发范式 单纯的LLM多轮交互更多面向C端消费场景，而B端应用场景需要LLM进行更多的被集成工作 更抽象、更本质地看，LLM充当的是物理世界人类语言—>信息世界比特信息的翻译者的角色，它带来的是一种新的人机交互方式的改变。 基于这种范式改变，传统的所有B端应用都有希望 ......
《可伸缩服务架构-框架与中间件》-00-随笔计划
初步计划大约花费9*5天时间精细阅读本书。 目标输出：每个篇章输出一篇随笔，分析架构和逻辑内容。 第一章：分布式发号器（5月31号--6月4号） 第二章：消息队列（6月5号--6月9号） 第三章：数据库分库分表（6月10号--6月14号） 第四章：缓存（6月15号--6月19号） 第五章：ES（6月 ......
《可伸缩服务架构-框架与中间件》-01-分布式发号器
本文主要是设计一款永不重复的高性能分布式发号器。 源码地址——码云：https://gitee.com/robertleepeak/vesta-id-generator Vesta是一款通用的ID产生器，互联网俗称统一发号器，它具有全局唯一、粗略有序、可反解和可制造等特性，它支持三种发布模式：嵌入发 ......
Redis系列13：分布式锁实现
[Redis系列1：深刻理解高性能Redis的本质](https://www.cnblogs.com/wzh2010/p/15886787.html "Redis系列1：深刻理解高性能Redis的本质") [Redis系列2：数据持久化提高可用性](https://www.cnblogs.com/w ......
yolov5内存分布分析
# yolov5内存分布分析 ## Transpose输出分析 假设batch_size为1，yolov5有三个输出，shape分别是： - （1,3,80,80,85) - （1,3,40,40,85) - （1,3,20,20,85) 其中3代表anchor数量，20*20代表feature_m ......
树莓派上docker 安装 arm 架构mysql
树莓派上docker 安装 arm 架构mysql 第一步：通过docker 下载 mysql docker pull --platform=arm64 mysql/mysql-server 第二步：查看已经安装的镜像 sudo docker images 第三步：创建实例并启动（文件挂载与端口映射 ......
思考-关于做事专注力提高
## 情况概述 - 最近几日，先是写第二篇小论文正文部分，极度的专注和高效，没有听音乐、小说等，就是安安静静的写论文，找资料，从下午睡醒到晚上一直持续。 - 第二个现象是在初稿快结束的时候，由于求速度，很多内容都是草草了事，但也不排除是因为不知道怎么去写。 - 第三个场景是老师返稿意见，我第一天是放 ......
Redis+分布式+秒杀
## 聊一下MySQL 关于mysql关系型数据库的一些分析： 1、从性能上：如果我们碰到需要执行耗时特别久，并且执行结果不是很频繁变动的SQL语句，我们就没有必要每次都去查询数据库，因为每次操作数据库都很耗时。 2、从并发上：在大并发的情况下（比如618秒杀活动，你敢让千万级的请求直接打到数据库上 ......
关于消息队列的一些思考
> 1. 日志与消费队列 > 2. 消息队列的应用价值 > - 数据集成于系统解耦 > - 异步处理与事件驱动 > - 流量削峰 > - 事务消息与分布式事务的最终一致 > 3. 从历史看消息队列的价值演化 **思考手上的工作，找到他的价值和定位，将价值最大化** ### 1. 日志和消息队列 推荐 ......
聊聊分布式解决方案Saga模式
### Saga模式 Saga模式使用一系列本地事务来提供事务管理，而一个本地事务对应一个Saga参与者，在Saga流程里面每一个本地事务只操作本地数据库，然后通过消息或事件来触发下一个本地事务，如果其中一个本地事务失败了，Saga就会执行一系列补偿事务来实现回滚操作。（补偿事务简单来讲就是对之前本 ......
NVIDIA GeForce RTX 3080 Ti 架构
# 服务器环境 NVIDIA GeForce RTX 3080 Ti  * 单张卡有80个SM，每个SM内 ......
每秒100w秒杀架构day03
第3章 100W请求秒杀架构体系-程序隔离和并 发限流 目标1：抢单程序隔离实现 目标2：WebSocket 知识学习 目标3：Sentinel 限流讲解 目标4：LVS+Nginx集群讲解 1 用户下单 商品分为热点商品抢单和非热点商品抢单，因此此系统中抢单模式并非一种。 1.1 抢单分析 如上图 ......
业务幂等性技术架构体系
业务幂等性技术架构体系 1）幂等性介绍 现如今很多系统都会基于分布式或微服务思想完成对系统的 架构设计。那么在这一个系统中，就会存在若干个微服务， 而且服务间也会产生相互通信调用。那么既然产生了服务调 用，就必然会存在服务调用延迟或失败的问题。当出现这种 问题，服务端会进行重试等操作或客户端有可能会 ......
十三、利用分布式锁解决超卖问题
库存超卖问题 对于商城系统。超卖了一部分可以补获，12306对超卖问题更敏感。 JMeter的使用 超卖演示&使用JMeter对购票功能进行压测 使用synchronized是否能解决库存超卖？ 超卖问题出现原因： 假设余票为1，此时多个线程同时查询到这条余票记录，并进行扣减，那么则会导致超卖发生。 ......
SpringCloudAlibaba整合分布式事务Seata
[toc] # 1 整合分布式事务Seata [点击了解分布式事务Seata相关信息](https://jingzh.blog.csdn.net/article/details/130671622) ## 1.1 环境搭建 ### 1.1.1 Nacos搭建 [点击了解Nacos原理和使用](htt ......
Hadoop全分布部署
安装包下载（百度网盘）链接: https://pan.baidu.com/s/1XrnbpNNqcG20QG_hL4RJoQ?pwd=aec9 提取码: aec9 ## 基础配置（所有节点） ### 关闭防火墙，selinux安全子系统 ````bash #关闭防火墙，设置开机自动关闭 [root@ ......
微服务架构学习与思考(13)：分布式配置中心
## 一、配置中心的诞生 用编程语言编写应用项目时，一般都会有项目的配置文件。比如用 java 编写项目，有一个 properties 的配置文件，会把一些配置信息写入到该文本文件中，例如数据库相关的配置信息。 这也体现了软件设计的一个原则：**关注点分离**。把代码和配置信息相分离。 ![imag ......
centos7上Hadoop2.7.2完全分布式部署
1.规划 node1 node2 node3datanode datanode datanodenamenode resourcemanager secondarynamenodenodemanager nodemanager nodemanager 2.设置环境 2.1 修改hostname主机名 ......
思考-关于独处
## 这几日独处状态的概述 - 一开始舍友回来的时候，还算可以，适当的聊天说话，缓解了我很大的焦虑。 - 中间又回去了几天，这几天是我相对比较高效的时间 - 后面又回来了，总觉得相处的没有之前那么好 ## 为什么一开始还行 - 那几日正在自己摸索怎么独处，对方的到来，给我的作息带来了一定的规律 - ......
centos7.9上hadoop-2.7.2伪分布式部署
1.安装jdk 1.1 在Oracle官网上现在jdk1.8 ，然后上传到Linux服务器中 1.2 安装jdk rpm -ivh jdk-8u371-linux-x64.rpm 2 创建部署用户 hadoop useradd -d /hadoop hadoop echo 123 |passwd - ......
团队开发一些思考
团队项目总结 设想和目标 我们的项目是智能排班系统。 1. 我们的软件要解决什么问题？是否定义得很清楚？是否对典型用户和典型场景有清晰的描述？ 智能排班系统旨在更加高效地管理和优化人员排班流程，以满足各种行业（如医疗、零售、制造业等）的排班需求，其中主要解决以下问题： 优化排班流程：传统的排班方式往 ......
分布式机器学习(Parameter Server)
分布式机器学习中，参数服务器(Parameter Server)用于管理和共享模型参数，其基本思想是将模型参数存储在一个或多个中央服务器上，并通过网络将这些参数共享给参与训练的各个计算节点。每个计算节点可以从参数服务器中获取当前模型参数，并将计算结果返回给参数服务器进行更新。 为了保持模型一致性，通 ......
Fabric架构详解
## 1 整体架构 ![fabric架构图](https://upload-images.jianshu.io/upload_images/21415382-dbc852a38f6c6c80.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240 ......
分布式CAP理论
分布式：一个大业务拆分成多个小业务并部署在不同的服务器上 CAP：一个分布式系统最多只能同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partition tolerance）这三项中的两项。 网络问题不可避免，P（分区容错性）是一定需要保证的 如果此时有节 ......