分布式
分布式核心
1. CAP理论 cap理论是分布式系统的理论基石 Consistency (一致性)： “all nodes see the same data at the same time”,即更新操作成功并返回客户端后，所有节点在同一时间的数据完全一致，这就是分布式的一致性。一致性的问题在并发系统中不可避 ......
Hadoop学习(一) 搭建伪分布式集群
文章结构 1.准备工作 1.1 配置IP 1.2 关闭防火墙 1.3 修改主机名并与IP绑定 1.4 创建新用户 1.5 配置免密匙 2.安装并配置Hadoop伪分布式集群 2.1 安装Java 2.2 安装配置Hadoop伪分布式集群 1.准备工作 1.1 配置IP 首先进入该路径下 cd /et ......
Apache Kylin4 分布式的分析型数据仓库
https://kylin.apache.org/cn/docs/index.html Apache Kylin4 概述 欢迎来到 Apache Kylin™ Analytical Data Warehouse for Big Data Apache Kylin™是一个开源的、分布式的分析型数据仓库 ......
SignalR 分布式部署
分布式部署意味着有多台SignalR服务器，一台服务器有多个客户端连接。 SignalR 要求对于某一个特定连接的所有HTTP 请求都需要被一个相同服务进程处理，当SignalR 运行在一个服务场时（多个服务器），则必须使用“粘性会话”（服务器开启）或者”跳过协商“（用websocket） 问题：某 ......
一、如何构建一个可靠的分布式系统？
构师如何才能让一系列来自不同开发者、不同厂商、不同版本、不同语言、质量也良莠不齐的软件模块，在不同的物理硬件和拓扑结构随时变动的网络环境中，依然能保证可靠的运行质量。 我一直认为，技术人员的成长是有“捷径”的，做技术不仅要去看、去读、去想、去用，更要去写、去说。 把自己“认为掌握了的”知识给叙述出来 ......
分布式应用服务的拆分
需求落地分布式应用服务 将需求转化为分布式应用服务的过程可以按照以下步骤进行： 理解需求：首先，你需要仔细阅读和理解业务需求。与相关的利益相关者（如业务分析师、产品经理等）进行沟通，确保你对需求的理解是准确的。 设计架构：根据需求，设计一个适合的分布式应用架构。这包括确定应用的组件和模块，以及它们之 ......
Redisson分布式锁的实现
分布式锁 在多线程环境下，如果多个线程同时访问共享资源（数据库），往往会发生数据竞争。要想在某一线程访问资源时，令其他线程阻塞等待，就需要使用分布式锁，确保共享资源同时只有一个线程访问。 实现思路： 向Redis中插入同一key： A插入key，如果成功则获取到锁，B再来插入式发现key已经存在了， ......
云原生雪花改进型分布式id服务
1，概述 一个基于雪花改进型分布式id基础服务 demo地址：http://uid.activeclub.site/web/v1/uuid/get 1.1，入参样例： 请求路径：GET http://{url}:{port}/web/uuid/get 入参说明： 类目 字段名 说明 url 对外暴露 ......
【交换机、路由器、双码流、分布式、VKM的基本概念学习】
分布式节点： 分布式就是把传统的音视频设备矩阵切换器、拼接处理器、录播系统、KVM切换器、中央控制系统等这些设备的功能打包成一个等于X功能的节点，然后每个信号输入输出的区域，布置一个这样的X节点，在通过一条网线接到交换机，实现上述的各种功能。 可视化： 可视化是利用图像传输和处理技术，让用户能够直观 ......
HarmonyOS分布式文件系统开发指导
分布式文件系统概述 分布式文件系统（hmdfs，HarmonyOS Distributed File System）提供跨设备的文件访问能力，适用于如下场景： ● 两台设备组网，用户可以利用一台设备上的编辑软件编辑另外一台设备上的文档。 ● 平板保存的音乐，车载系统直接可见并可播放。 ● 户外拍摄的 ......
scrapy解析数据、配置文件、整站爬取cnblogs=》爬取详情=》数据传递、持久化、爬虫中间件和下载中间件、scrapy继承selenium、源码去重规则（布隆过滤器）、分布式爬虫
scrapy解析数据 ##### 运行爬虫 scrapy crawl cnblogs ##### 可以项目目录下写个main.py from scrapy.cmdline import execute execute(['scrapy','crawl','cnblogs','--nolog']) # ......
简单理解分布式存储
简单理解分布式存储 Ceph基础 Ceph是一个开源的分布式存储系统，旨在提供高度可扩展性、高可用性和数据容错性的存储解决方案。Ceph的设计和架构非常复杂，深入理解Ceph需要掌握以下关键概念和组件： Ceph集群：Ceph集群是由多个节点组成的，包括监控器（MONs）、对象存储设备（OSDs）和 ......
分布式和集群概念
分布式和集群概念 分布式：每台机器上部署不同组件集群：每台机器上部署相同组件 大数据分布式存储、分布式计算 linux 桌面操作系统：mac os、windows、linux嵌入式操作系统：μlinux、wince、RTOS服务器操作系统：unxi、linux、Windows server、netw ......
爬虫中间件和下载中间件，scrapy集成selenium，源码去重规则（布隆过滤器），分布式爬虫
1 爬虫中间件和下载中间件 ⏳ 1.1 爬虫中间件(一般不用) # 第一步：写个爬虫中间件类 class ScrapyDemoSpiderMiddleware: @classmethod def from_crawler(cls, crawler): # This method is used by ......
kube-controller-manager加分布式锁
k8s v1.19.0 kube-controller-manager加分布式锁lease，完成leader选举，与kube-scheduler相同。 cmd/kube-controller-manager/app/controllermanager.goRun函数 staging/src/k8s. ......
分布式亿级流量整体架构设计原则
架构目标 高可用性 整体系统可用性最低99.9%，目标99.99%。全年故障时间整个系统不超过500分钟，单个系统故障不超过50分钟。 高可扩展性 系统架构简单清晰，应用系统间耦合低，容易水平扩展，业务功能增改方便快捷。 低成本 增加服务的重用性，提高开发效率，降低人力成本； 最终一致性 服务设计能 ......
GO实现分布式爬虫—掌握go语言通道与协程项目架构设计
GO实现分布式爬虫—掌握go语言通道与协程项目架构设计 Go高并发微服务分布式 1.命令行的用户管理 用户信息存储 => 内存 => 结构 [] map => 用户 ID name age tel addr [len] [] map 值类型使用string 用户添加 用户的查询 用户修改 // 请输 ......
Go语言开发分布式任务调度 轻松搞定高性能Crontab，技能储备+项目开发
写在前面 最近离职交接空档期，在慕课网上学习了下go语言实现分布式crontab任务调度系统。自己也跟随视频实现了一把（跟原版略有不同）。现把成果记录一下。 最终代码： https://github.com/funkol2007/distributed_crontab 系统介绍 实现目标： 实现一个 ......
我心中的分布式操作系统
这是一位网友发给我的文字，我原样复制粘贴发出来给大家，他的观点我不过多评论，也不代表公司和研发团队的立场，但是最后一段本人不同意，因为Laxcus分布式操作系统已经发布了六个版本，在很多领域广泛部署使用。目前Laxcus分布式操作系统正经历类似微软的Windows 3.x到Windows 95的过渡 ......
分布式文件系统FastDFS
目录目前系统存在的缺点分布式文件系统FastDFS介绍概念架构文件上传文件下载 目前系统存在的缺点 目前是通过tomcat提供虚拟目录的方式供用户访问；当然也可以通过nginx实现静态资源访问的方式 文件冗余在tomcat挂了的情况下不能提供服务； 目前是单一文件服务的存储（依赖tomcat不能进行 ......
【限流】Redis + Lua 实现分布式限流器
目录Redis + Lua 限流实现1. 导入依赖2. 配置application.properties3. 配置RedisTemplate实例4. 定义限流类型枚举类5. 自定义注解6. 切面代码实现7. 控制层实现8. 测试 Redis + Lua 限流实现 技术栈：自定义注解 + aop + ......
分布式锁，怎么个事？
平时的工作中，由于生产环境中的项目是需要部署在多台服务器中的，所以经常会面临解决分布式场景下数据一致性的问题，那么就需要引入分布式锁来解决这一问题。 本文参考文章： https://www.cnblogs.com/niceyoo/p/13711149.html https://cloud.tence ......
Microsoft SQL Server 2012 SP4 中可以通过一些技术和方法来实现分布式数据库的功能
Microsoft SQL Server 2012 SP4 中，虽然没有内置的原生支持分布式数据库的功能，但您仍然可以通过一些技术和方法来实现分布式数据库的功能。下面我将介绍几种常见的实现方式： 分布式查询 您可以使用 SQL Server 的链接服务器功能，建立到其他 SQL Server 实例的 ......
Seata分布式事务框架-AT模式与TCC模式介绍
Seata AT事务方案Seata 的 AT 模式（Automatic Transaction）是一种无侵入的分布式事务解决方案。下面结合具体业务场景来分析其执行的原理。 业务场景订单系统 当用户下订单时，执行以下三步流程： 订单系统保存订单 订单系统调用库存服务，减少商品库存 订单系统调用账户服务 ......
分布式任务调度(00)--Quartz
1 任务调度整体流程 2 组件 调度器 ：工厂类创建Scheduler，根据触发器定义的时间规则调度任务 任务：Job表示被调度的任务 触发器：Trigger 定义调度时间的元素，按啥时间规则执行任务。一个Job可被多个Trigger关联，但是一个Trigger 只能关联一个Job import o ......
这次弄下k8s 分布式多机测试，这次专门多创建了几个机器进行安装，实时监控机器状态
k8s 实机分布式测试，这次弄一下这个，上次弄的是单机版本的minikube, 在单机上minikube替代了kubectl的工作，在单机上可以创建多个布署等，实际使用会有多个系统，分布式才是正常生产时发按它效率的时间。 k8s说明上要求机器要有2g内存，这里我创建了四个vm, 每个4g内存，这样可 ......
【发布】DDD 工程脚手架 + 一键安装分布式技术栈环境！
作者：小傅哥 博客：https://bugstack.cn 沉淀、分享、成长，让自己和他人都能有所收获！😄 大家好，我是技术UP主小傅哥。 写了那么多案例工程，开发了那么多技术项目。那小傅哥做的这些案例和项目是每一个都要手动创建一遍吗？🤔 如果不是一个个都手动创建，那么有什么提效工具吗？ 不用， ......
分布式图算法Pregel
最近看了Google的Pregel论文，图算法有一些经典且不可被替代的应用场景，如社交网络，相互引用等。但是在单个结点上的运算量往往过少，注重的是消息传播和逻辑处理，而不是单纯的大规模计算。虽然已经过去了十几年，但是其中的messsage passing，combiner，aggregator，gr ......
理论讲解 -分布式系统
分布式系统常见理论讲解 分布式系统是指由多个节点通过网络进行通信和协作的系统，它具有高可用性、高扩展性、高性能等优点，但也面临着一些挑战，如数据一致性、容错性、负载均衡等。为了解决这些问题，分布式系统设计出现了一些经典的理论和方法，如 CAP 理论、BASE 理论、一致性等。 CAP 理论 CAP ......