分布式 体系
HarmonyOS分布式文件系统开发指导
分布式文件系统概述 分布式文件系统（hmdfs，HarmonyOS Distributed File System）提供跨设备的文件访问能力，适用于如下场景： ● 两台设备组网，用户可以利用一台设备上的编辑软件编辑另外一台设备上的文档。 ● 平板保存的音乐，车载系统直接可见并可播放。 ● 户外拍摄的 ......
scrapy解析数据、配置文件、整站爬取cnblogs=》爬取详情=》数据传递、持久化、爬虫中间件和下载中间件、scrapy继承selenium、源码去重规则（布隆过滤器）、分布式爬虫
scrapy解析数据 ##### 运行爬虫 scrapy crawl cnblogs ##### 可以项目目录下写个main.py from scrapy.cmdline import execute execute(['scrapy','crawl','cnblogs','--nolog']) # ......
简单理解分布式存储
简单理解分布式存储 Ceph基础 Ceph是一个开源的分布式存储系统，旨在提供高度可扩展性、高可用性和数据容错性的存储解决方案。Ceph的设计和架构非常复杂，深入理解Ceph需要掌握以下关键概念和组件： Ceph集群：Ceph集群是由多个节点组成的，包括监控器（MONs）、对象存储设备（OSDs）和 ......
假设对思维体系进行面向对象的架构组织
学习的东西很多，学过之后不用容易忘掉。学的时候钻研进去，探索到比较内部的功能，在当时是很了解的。当退出学习环境之后，就边等生冷。以后再次进去的话需要重新挖一遍的样子。每一门想学的东西，从开始接触，慢慢深挖，要搜索好多东西。有的时候搜不到这些东西。再次走一遍的话如果不记得原来的会比较难再走一遍。最近a ......
分布式和集群概念
分布式和集群概念 分布式：每台机器上部署不同组件集群：每台机器上部署相同组件 大数据分布式存储、分布式计算 linux 桌面操作系统：mac os、windows、linux嵌入式操作系统：μlinux、wince、RTOS服务器操作系统：unxi、linux、Windows server、netw ......
爬虫中间件和下载中间件，scrapy集成selenium，源码去重规则（布隆过滤器），分布式爬虫
1 爬虫中间件和下载中间件 ⏳ 1.1 爬虫中间件(一般不用) # 第一步：写个爬虫中间件类 class ScrapyDemoSpiderMiddleware: @classmethod def from_crawler(cls, crawler): # This method is used by ......
Java核心知识体系6：集合框架详解
Java核心知识体系1：泛型机制详解 Java核心知识体系2：注解机制详解 Java核心知识体系3：异常机制详解 Java核心知识体系4：AOP原理和切面应用 Java核心知识体系5：反射机制详解 1 集合框架图总览 我们来简单解读下上面这个框架图： 所有集合类都位于java.util包下 Iter ......
JVM系列-第1章-JVM与Java体系结构-cnblog
title: JVM系列-第1章-JVM与Java体系结构 tags: - JVM - 虚拟机 categories: - JVM - 1.内存与垃圾回收篇 keywords: JVM，虚拟机。 description: JVM系列-第1章-JVM与Java体系结构。 cover: 'https:/ ......
kube-controller-manager加分布式锁
k8s v1.19.0 kube-controller-manager加分布式锁lease，完成leader选举，与kube-scheduler相同。 cmd/kube-controller-manager/app/controllermanager.goRun函数 staging/src/k8s. ......
分布式亿级流量整体架构设计原则
架构目标 高可用性 整体系统可用性最低99.9%，目标99.99%。全年故障时间整个系统不超过500分钟，单个系统故障不超过50分钟。 高可扩展性 系统架构简单清晰，应用系统间耦合低，容易水平扩展，业务功能增改方便快捷。 低成本 增加服务的重用性，提高开发效率，降低人力成本； 最终一致性 服务设计能 ......
GO实现分布式爬虫—掌握go语言通道与协程项目架构设计
GO实现分布式爬虫—掌握go语言通道与协程项目架构设计 Go高并发微服务分布式 1.命令行的用户管理 用户信息存储 => 内存 => 结构 [] map => 用户 ID name age tel addr [len] [] map 值类型使用string 用户添加 用户的查询 用户修改 // 请输 ......
Go语言开发分布式任务调度 轻松搞定高性能Crontab，技能储备+项目开发
写在前面 最近离职交接空档期，在慕课网上学习了下go语言实现分布式crontab任务调度系统。自己也跟随视频实现了一把（跟原版略有不同）。现把成果记录一下。 最终代码： https://github.com/funkol2007/distributed_crontab 系统介绍 实现目标： 实现一个 ......
技术体系结构——架构&框架
一、总体技术体系 单一架构 一个项目，一个工程，导出为一个war包，在一个Tomcat上运行。也叫all in one。 单一架构，项目主要应用技术框架为：Spring、SpringMVC、Mybatis 分布式架构 一个项目（对应 IDEA 中的一个 project），拆分成很多个模块，每个模块是 ......
我心中的分布式操作系统
这是一位网友发给我的文字，我原样复制粘贴发出来给大家，他的观点我不过多评论，也不代表公司和研发团队的立场，但是最后一段本人不同意，因为Laxcus分布式操作系统已经发布了六个版本，在很多领域广泛部署使用。目前Laxcus分布式操作系统正经历类似微软的Windows 3.x到Windows 95的过渡 ......
精密设备企业适合哪款CRM客户管理体系？
精密设备企业致力于打造现代化管理体系，以精密的仪器、精细的销售、精准的市场、精确的售后为企业核心，提供优质的精密产品和专业服务。随着企业的发展及市场发展需要，建立高效的客户关系管理体系势在必行。那么，精密设备企业适合哪款CRM客户管理系统？ 搭建CRM平台完整了解客户是谁 利用现代先进技术管理企业是 ......
多元高斯分布
https://www.bilibili.com/video/BV1zf4y1L7mQ/?spm_id_from=333.337.search-card.all.click&vd_source=5a8099d424866bf1cdbfa5a7afadeca6 ......
高级计算机体系结构
高级计算机体系结构 芯片堆叠DRAM（3D-DRAM） •叠片DRAM： •顶层存储数据 •底层逻辑层存储各种控制、访问和接口电路 •魔法：堆叠表示高 密度，所以高的b/w插入器集成不那么昂贵。 •当前产品： •混合存储立方体（微米） •高带宽内存（三星、AMD和海力士） •权衡： •延迟与DRAM ......
分布式文件系统FastDFS
目录目前系统存在的缺点分布式文件系统FastDFS介绍概念架构文件上传文件下载 目前系统存在的缺点 目前是通过tomcat提供虚拟目录的方式供用户访问；当然也可以通过nginx实现静态资源访问的方式 文件冗余在tomcat挂了的情况下不能提供服务； 目前是单一文件服务的存储（依赖tomcat不能进行 ......
Go Web开发进阶项目实战-Go语言实战课程体系，企业项目开发经验与技巧
书接上回，上次我们搭建好了项目入口文件，同时配置了路由体系，接着就可以配置项目的模板了，这里我们采用Iris内置的模板引擎，事实上，采用模板引擎并不意味着前后端耦合，模板中的数据保持其独立性即可，也就是说模板的数据操作交互方式采用http接口请求的形式，Iris并不参与模板逻辑，只返回Json格式的 ......
【限流】Redis + Lua 实现分布式限流器
目录Redis + Lua 限流实现1. 导入依赖2. 配置application.properties3. 配置RedisTemplate实例4. 定义限流类型枚举类5. 自定义注解6. 切面代码实现7. 控制层实现8. 测试 Redis + Lua 限流实现 技术栈：自定义注解 + aop + ......
分布式锁，怎么个事？
平时的工作中，由于生产环境中的项目是需要部署在多台服务器中的，所以经常会面临解决分布式场景下数据一致性的问题，那么就需要引入分布式锁来解决这一问题。 本文参考文章： https://www.cnblogs.com/niceyoo/p/13711149.html https://cloud.tence ......
Microsoft SQL Server 2012 SP4 中可以通过一些技术和方法来实现分布式数据库的功能
Microsoft SQL Server 2012 SP4 中，虽然没有内置的原生支持分布式数据库的功能，但您仍然可以通过一些技术和方法来实现分布式数据库的功能。下面我将介绍几种常见的实现方式： 分布式查询 您可以使用 SQL Server 的链接服务器功能，建立到其他 SQL Server 实例的 ......
一文带你零基础深入理解随机变量，概率分布与统计量
一. 随机事件与概率 1.1 随机现象 在自然界和人类活动中，发生的现象多种多样，比如下列这些现象： 1. 偶数能被2整除 2. 光的速度是常数 3. 一家门店一天之内的订单量 4. 一个新生儿可能是男生也可能是女生 5. AB实验存在对照组和实验组 6. 李华上厕所的时间 不难发现，其中①②⑤这类 ......
Seata分布式事务框架-AT模式与TCC模式介绍
Seata AT事务方案Seata 的 AT 模式（Automatic Transaction）是一种无侵入的分布式事务解决方案。下面结合具体业务场景来分析其执行的原理。 业务场景订单系统 当用户下订单时，执行以下三步流程： 订单系统保存订单 订单系统调用库存服务，减少商品库存 订单系统调用账户服务 ......
分布式任务调度(00)--Quartz
1 任务调度整体流程 2 组件 调度器 ：工厂类创建Scheduler，根据触发器定义的时间规则调度任务 任务：Job表示被调度的任务 触发器：Trigger 定义调度时间的元素，按啥时间规则执行任务。一个Job可被多个Trigger关联，但是一个Trigger 只能关联一个Job import o ......
这次弄下k8s 分布式多机测试，这次专门多创建了几个机器进行安装，实时监控机器状态
k8s 实机分布式测试，这次弄一下这个，上次弄的是单机版本的minikube, 在单机上minikube替代了kubectl的工作，在单机上可以创建多个布署等，实际使用会有多个系统，分布式才是正常生产时发按它效率的时间。 k8s说明上要求机器要有2g内存，这里我创建了四个vm, 每个4g内存，这样可 ......
从零开始构建性能测试技术体系
前几天知识星球一位同学找我咨询过性能测试相关的问题，我在文章《性能测试的实践痛点和解决方法》中分享了性能测试实施过程中常见的一些痛点和解决方案，后台很多同学反馈确实帮他们提供了很多思路。 其中有位同学留言问了这样一个问题：有没有比较完整的性能测试技术体系？该如何构建性能测试的技术体系？ 在我近十年的 ......
【发布】DDD 工程脚手架 + 一键安装分布式技术栈环境！
作者：小傅哥 博客：https://bugstack.cn 沉淀、分享、成长，让自己和他人都能有所收获！😄 大家好，我是技术UP主小傅哥。 写了那么多案例工程，开发了那么多技术项目。那小傅哥做的这些案例和项目是每一个都要手动创建一遍吗？🤔 如果不是一个个都手动创建，那么有什么提效工具吗？ 不用， ......
多元高斯分布/高斯过程全解析
大纲 公式推导 参数估计 高斯分布运算 高斯分布性质 高斯过程（Gaussian process） 高斯混合模型 概念区分 边缘分布(marginal distribution)和联合分布 概率密度函数和概率分布函数 1. 多元高斯分布公式推导 首先我们知道一元高斯分布是：\(N(x|u,\sigm ......
SRE-基于阿里云的告警体系建设
基于数据源来做分类 sls日志告警 配置以及查看方式 sls日志左侧点击铃铛进入告警中心配置 告警规则触发就是sls日志的查询语句，配置的规则时间内，查询语句查询的数量达到配置值，就会触发告警 现状 5XX告警 应用error日志告警 云产品监控告警 配置以及查看方式 阿里云直接搜索云监控 左边云产 ......