异质 分布式 偏好 机制
介绍一下js垃圾回收机制
JavaScript中的垃圾回收机制负责自动管理内存，回收不再使用的对象所占用的内存空间。在JavaScript中，开发者不需要显式地分配和释放内存，垃圾回收器会自动完成这些操作。以下是关于JavaScript垃圾回收机制的一些关键概念： 1. 内存生命周期：JavaScript内存生命周期包括分配 ......
58、K8S-监控机制-Prometheus-自定义metrics
Kubernetes学习目录 1、安装python环境 1.1、下载python软件 wget https://www.python.org/ftp/python/3.9.16/Python-3.9.16.tgz 1.2、安装依赖包 yum install gcc gcc-c++ glibc-dev ......
【分布式】链路追踪
参考： https://zhuanlan.zhihu.com/p/619861742 Dapper，大规模分布式系统的跟踪系统- Span 基于链路标识 TraceId 的筛选 前端请求 Header 或响应体 Response：大部分用户请求都是在端上设备发起的，因此 TraceId 生成的最佳地 ......
加载中，三点循环机制
<!DOCTYPE html> <html lang="en"><head> <meta charset="UTF-8"> <title>加载动画</title></head> <style> .dotting { margin: 20% auto; width: 150px; } .dotting ......
分布式事务--CAP理论
cap理论：一个分布式系统最多只能同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partition tolerance）这三项中的两项 ......
消息队列kafka及zookeeper机制
一、zookeeper1、zookeeper简介Zookeeper：开源分布式的服务，为分布式框架提供协调服务的apache项目 2、zookeeper特点①、zookper是一个领导者，多个跟随着组成 ②、集群中有半数以上节点存活，集群正常服务，奇数台最小3台 ③、全局数据一致，每个server保 ......
WiredTiger的日志和检查点机制
1.日志 ·对于每个写操作，mongodb将改变写入日志文件，即事务日志文件。写入的频率收到storage.journal.commitIntervalMs参数的控制。默认是100毫秒，可取值的范围是1--500毫秒。 ·WT缓存中的页数据也会被标记为脏数据 日志文件的格式示例： $ wt prin ......
04-分布式服务
一、分布式服务体系 （一）分布式系统概述 单体系统存在业务扩展性（任何业务的调整都需要发布整个系统）、性能扩展性（动态扩容对单体系统而言效率低下）、代码复杂度（修改一处代码容易引发连锁反应）的问题。 系统扩展性，指的是当系统的业务需求发生变化时，我们对现在系统改动程度的一种控制能力。改动程度 ......
分布式计算技术（下）：Impala、Apache Flink、星环Slipstream
实时计算的发展历史只有十几年，它与基于数据库的计算模型有本质区别，实时计算是固定的计算任务加上流动的数据，而数据库大多是固定的数据和流动的计算任务，因此实时计算平台对数据抽象、延时性、容错性、数据语义等的要求与数据库明显不同，面向实时计算的数据架构也就发展起来。本篇我们介绍面向交互式分析的计算引擎I ......
GFS分布式文件系统
一、GlusterFS分布式文件系统1、什么是GlusterFS及其术语GlusterFS：开源的分布式文件系统，由存储服务端和NFS/Samba(可选)存储网关、客户端组成，没有元数据服务器组件，数据横向扩展能力强，传输时硬件传输线使用光纤。 Brick（存储块）:指可信主机池中由主机提供的用于物 ......
我们为什么需要分布式系统？
这篇文章主要讨论我们为什么需要分布式系统，分布式系统帮助我们解决了复杂系统在成本、效率和高可用方面的问题，但同时它也在分布式计算和分布式存储方面带来了新的问题和挑战。 ......
57、K8S-监控机制-Prometheus-PromQL基础-运算符、聚合、功能函数
Kubernetes学习目录 1、数据基础 1.1、时间序列 1.1.1、介绍 时间序列数据：按照时间顺序记录系统、设备状态变化的数据，每个数据称为一个样本； 数据采集以特定的时间周期进行，因而，随着时间流逝，将这些样本数据记录下来，将生成一个离散的样本数据序列； 该序列也称为向量（Vector）； ......
Java基础之RMI与JDNI机制
一、RMI 1.1 概念 RMI是用Java在JDK1.2中实现的，它大大增强了Java开发分布式应用的能力，Java本身对RMI规范的实现默认使用的是JRMP协议。而在Weblogic中对RMI规范的实现使用T3协议 JRMP：Java Remote Message Protocol，Java远程 ......
spring中的扫描机制
背景 项目中出现，一个bean 在 @ComponentScan 注解的包下面却没有被扫描，并创建为bean的bug。所以需要了解spring的扫描机制。 原因以及源码位置 当项目里面有 resources/META-INF/spring.components 文件的时候，spring进入这个if判 ......
14-springcloud-eureka-10-Eureka服务注册中心自我保护机制
自我保护机制是 Eureka 注册中心的重要特性，当 Eureka 注册中心进入自我保护模式时，在 Eureka Server 首页会输出如下警告信息： EMERGENCY! EUREKA MAY BE INCORRECTLY CLAIMING INSTANCES ARE UP WHEN THEY' ......
摩尔定律失效--分布式能否解决硬件性能瓶颈
自英特尔的联合创始人戈登·摩尔（Gordon Moore）于 1965 年经过观察称每隔 18~24 个月，集成电路上可容纳的元器件数目便会增加一倍，芯片的性能也会随之翻一番.换言之，每一美元所能买到的电脑性能，将每隔18-24个月翻一倍以上。以他名字命名的「摩尔定律」便成了几十年来半导体行业进步背... ......
56、K8S-监控机制-Prometheus-配置解析、标签管理
Kubernetes学习目录 1、配置文件 1.1、配置简介 1.1.1、简介 Prometheus可以通过命令行或者配置文件的方式对服务进行配置。 一般情况下，命令行方式一般用于不可变的系统参数配置，例如存储位置、要保留在磁盘和内存中的数据量等；配置文件用于定义与数据动态获取相关的配置选项和文件等 ......
Java-泛型机制详解
Java-泛型机制详解 1: 提出背景 Java集合（Collection）中元素的类型是多种多样的。例如，有些集合中的元素是Byte类型的，而有些则可能是String类型的，等等。Java允许程序员构建一个元素类型为Object的Collection，其中的元素可以是任何类型在[Java SE]( ......
分布式计算技术（上）：经典计算框架MapReduce、Spark 解析
当一个计算任务过于复杂不能被一台服务器独立完成的时候，我们就需要分布式计算。分布式计算技术将一个大型任务切分为多个更小的任务，用多台计算机通过网络组装起来后，将每个小任务交给一些服务器来独立完成，最终完成这个复杂的计算任务。本篇我们介绍两个经典的计算框架MapReduce和Spark。 — MapR ......
通俗解释 JVM CAS 机制
JVM 的 CAS，即 Compare And Swap，是一种并发编程中常用的保证原子性的技术。 通俗地讲，CAS 用于在多线程环境下对共享变量的值进行原子操作，即多个线程同时访问同一个共享变量，但只有一个线程能修改这个变量的值，并且这个操作是原子的，不会被其他线程打断。 具体来说，CAS 操作包 ......
分布式存储技术（下）：宽表存储与全文搜索引擎的架构原理、特性、优缺点解析
对于写密集型应用，每天写入量巨大，数据增长量无法预估，且对性能和可靠性要求非常高，普通关系型数据库无法满足其需求。对于全文搜索和数据分析这类对查询性能要求极高的场景也是如此。为了进一步满足上面两类场景的需求，有了宽表存储和搜索引擎技术，本文将对他们的架构、原理、优缺点做介绍。 — 宽表存储 — 宽表 ......
java反射机制原理剖析
没有反射也就没有框架，现有的框架都是以反射为基础。 Spring 中，最重要的概念就是 IOC 控制反转。而 IOC 的实现原理就是反射。通过反射来构造 Java Bean 的对象，调用其方法。反射就是在运行时才知道要操作的类是什么 ......
54、K8S-监控机制-Prometheus-node_exporter部署
Kubernetes学习目录 1、node_exporter部署 1.1、安装主机说明 这里分别安装到node1和node2节点上。 1.2、软件安装 1.2.1、解压软件 mkdir /data/{softs,server} -p tar xvf node_exporter-1.5.0.linux ......
MySQL锁机制详解（详细介绍MySQL的锁机制原理）
MySQL是一种常用的开源关系型数据库管理系统，其锁机制是保证并发访问数据的关键。本文将深入探究MySQL的锁机制原理，为读者提供详尽的知识和理解。 一、MySQL锁机制概述 MySQL的锁机制是为了保证多个用户同时访问同一份数据时的数据一致性和完整性。 MySQL的锁机制按操作类型主要分为两种：共 ......
ZooKeeper分布式应用程序协调服务
目录 一.ZooKeeper基本介绍 1.ZooKeeper是什么？ 2.ZooKeeper的工作机制 3.ZooKeeper的特点 4.ZooKeeper的数据结构 5.ZooKeeper的应用场景 5.1 统一命名服务 5.2 统一配置管理 5.3 统一集群管理 5.4 服务器动态上下线 5.5 ......
Zookeeper分布式服务协调组件
Zookeeper分布式服务协调组件 1.简介 Zookeeper是一个分布式服务协调组件，是Hadoop、Hbase、Kafka重要的依赖组件，为分布式应用提供一致性服务的组件。 Zookeeper是Hadoop、HBase、Kafka的重要依赖组件。 Zookeeper主要包含文件系统以及通知机 ......
爬虫最后一天,爬取到的数据存到mysql中，爬虫和下载中间件、加代理、cookie、header、selenium、随机生成uersagent、去重规则源码分析(布隆过滤器)、scrapy-redis实现分布式爬虫、扩展去重规则
==爬到的数据存到mysql中== class FirstscrapyMySqlPipeline: def open_spider(self, spider): print('我开了') self.conn = pymysql.connect( user='root', password="", h ......
分布式事务相关
###1.有遇到分布式事务？ 在RPC远程调用过程中，A调用B服务的接口后，A接口报错，无法回滚B接口的事务，最终造成A事务回滚，B事务没有回滚。 注：在单体架构中，如果存在多数据源，每个数据源都有自己独立的事务管理器，那么这时也会存在多数据源事务管理分布式事务的问题。解决方案：jta+Atomik ......
53、K8S-监控机制-Prometheus、Grafana部署
Kubernetes学习目录 1、Prometheus-部署 1.1、准备软件 1.1.1、下载软件地址 prometheus https://github.com/prometheus/prometheus/releases/download/v2.43.0/prometheus-2.43.0.l ......
cloudflare反爬机制学习
https://www.dailiservers.com/bypass-cloudflare/ 反爬表现：requests禁止而浏览器正常请求 关键字：Cloudflare 的反爬虫机制 思路：伪造ja3、修改tls至1.3版本，开启http2协议、更多。。。 python第三方库：pyhttpx、 ......