分布式 集群 全局 情况
Elasticsearch 学习-windows上搭建集群
Elasticsearch 学习-windows上搭建集群 3.1 相关概念 3.1.1 单机**&** 集群 单台Elasticsearch服务器提供服务，往往都有最大的负载能力，超过这个阈值，服务器性能就会大大降低甚至不可用，所以生产环境中，一般都是运行在指定服务器集群中。 ==除了负载能力，单 ......
分布式技术原理与算法解析 02 - 分布式计算
分布式计算模式之MR MapReduce就是将复杂的、难以直接解决的大问题，分割为规模较小的、可直接解决的小问题。这些子问题相互独立且和原问题形式相同，可递归地求解，然后将子问题的答案合并。核心步骤为 1.分解原问题 2.求解子问题 3.合并解 工作原理 Map对应分，Reduce对应合。主要包括3 ......
[FastAPI-33]依赖注入-路径装饰器-全局
1. 路径装饰器 from fastapi import FastAPI, Header, HTTPException, Depends,status app = FastAPI() def verify_token(x_token: str = Header()): if x_token != " ......
K8S学习笔记之卸载K8S集群
阅读目录 0x00 概述 0x01 操作 0x00 概述 有时候需要卸载已安装在本机的K8S服务和服务，本文卸载的K8S面向使用kubeadm或者二进制方法安装的，不涉及使用rpm包安装的集群； 主要使用kubeadm reset和删除指定文件的方法，卸载K8S集群。 0x01 操作 首先清理运行到 ......
根据IP限制用户频率，包括全局接口访问频率限制和局部接口访问限制
1.url： 2.创建throttling.py文件，写一个类继承SimpleRateThrottle，为接口调用： 3.局部限制：如果只是部分接口需要添加IP频率限制，则只需要添加该时间内访问次数： 4.局部限制：接口内添加该代码，进行改接口的局部频率限制： 5.全局限制：所有接口需要添加IP频率 ......
java——spring boot集成kafka——集群分区消费策略
图中Kafka集群有两个broker，每个broker中有多个partition。 ⼀个partition只能被⼀个消费组⾥的某⼀个消费者消费，从⽽保证消费顺序。 Kafka只在partition的范围内保证消息消费的局部顺序性，不能在同⼀个topic中的多个partition中保证总的消费顺序性。 ......
C#/.NET Core跨平台分布式微服务/DDD领域驱动架构设计VIP实战
阿笨NET课程详情 腾讯课堂官网 https://abennet.ke.qq.com/ ......
分布式技术原理与算法解析 02 - 分布式资源管理与负载调度
分布式体系结构之集中式结构 集中式结构就是由一台或多台机器组成中央服务器，所有数据存储于此，所有业务也先由其处理。多节点与中央服务器连接，并将自己信息汇报给中央服务器，由中央服务器同一进行资源和任务调度。特点是部署结构简单，中央节点无需考虑对任务的多节点部署，节点服务器间无需通信和协作，只要与中央服 ......
多线程操作共享资源（如全局变量）原理
CPU对变量的计算分为三个步骤： 1. 从内存读取变量到寄存器（如add寄存器） 2. 将读取到的变量进行计算 3. 将寄存器中计算的值写入内存 如有两个线程（线程1和线程2）对共享资源（全局变量）a=0进行自增操作（a++），可能出现如下情况： 线程1进行a++时，会将变量a读取寄存器，在对变量a ......
分布式技术原理与算法解析 01 - 分布式协调与同步
关于 电商系统：最看重吞吐量，为了更多的处理用户访问和订单业务 IoT：最看重资源占用率，在某些设备上资源都是KB级的 电信业务：最看重响应时间、完成时间、可用性，保证通话质量 HPC：最看重加速比，这种计算特带是耗时长 大数据：最看重加速比，处理时间较HPC短，但也到达小时级 云计算：最看重操作耗 ......
Redis主从集群切换数据丢失问题如何应对？
数据丢失的情况 异步复制同步丢失 集群产生脑裂数据丢失 异步复制丢失 对于Redis主节点与从节点之间的数据复制，是异步复制的，当客户端发送写请求给master节点的时候，客户端会返回OK，然后同步到各个slave节点中。 如果此时master还没来得及同步给slave节点时发生宕机，那么maste ......
二项分布与泊松分布
二项分布 基本概念 n次伯努利实验正好出现k次成功的概率为： $$b(k;n,p) = \binom{n}{k}p^kq^{n-k},k=0,1,2,...,n$$ 其他性质上篇已经讲了，这里说新的。 首先是中心项与最可能成功次数。$b(k;n,p)$最大的项被称之为中心项，对应的k称为最可能成功次 ......
stata:合并merge时如何处理关键变量外的同名变量的值分三种情况
use ceshi1,clear list // // + + // | id ks2019 ks2020 ks2021 ks2022 ks2023 ab | // | | // 1. | 1 1 0 1 2 0 1 | // 2. | 2 2 0 2 3 2 . | // 3. | 3 3 0 3 ......
wsl 中 docker-compose 搭建 kafka 集群出现的外部访问错误
在 wsl 中用 docker-compose 搭建了一台 zookeeper + 三台 broker 的 kafka 集群，使用的镜像是 bitnami/kafka，在按照镜像文档运行容器后，发现运行在宿主机里的客户端程序无法正确的推送/消费消息，研究后发现镜像文档只适用于客户端程序和 kafka ......
Rancher 系列文章-在腾讯云的 K3S 上安装高可用 Rancher 集群
开篇 📜 引言： 三人行必有我师焉 知识共享，天下为公 《K3s 系列文章》 《Rancher 系列文章》 方案 在腾讯云的 K3S 上安装 Rancher 方案目标 高可用 3 台 master 的 k3s 集群 高可用模式的 rancher 数据备份 rancher 数据备份到 腾讯云对象存储 ......
部署基于etcd的coredns集群
前言 现需要为公司搭建私有DNS，私有服务器都使用私有DNS的地址，便于访问内部自定义的域名。采用CoreDNS + ETCD方案部署，coredns和etcd都以三实例运行，etcd为集群模式，使用nginx做coredns的udp负载均衡，避免单机性能问题。另使用prometheus监控core ......
全站抓取与分布式增量抓取
scrapy的crawlspider爬虫 学习目标： 了解 crawlspider的作用 应用 crawlspider爬虫创建的方法 应用 crawlspider中rules的使用 1、crawlspider是什么 回顾之前的代码中，我们有很大一部分时间在寻找下一页的url地址或者是内容的url地址 ......
vue2中添加全局样式
在assets文件夹中创建一个css文件,放入想要的全局样式.好了之后找到main文件然后再main.js文件中import './assets/golbal.css'即可 ......
zookeeper集群搭建
1. zookeeper介绍 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 ZooKeeper ......
.NET+Consul+Ocelot实现微服务分布式部署
一、ConSul和Ocelot Consul：是一个服务网格解决方案，提供了一个功能齐全的控制平面，具有服务发现、配置和分段功能。这些功能中的每一项都可以根据需要单独使用，也可以一起使用来构建一个完整的服务网格。Consul需要一个数据平面，并支持代理和原生集成模型。Consul提供了一个简单的内置 ......
Nacos集群部署
一、集群部署说明 因此开源的时候推荐用户把所有服务列表放到一个vip下面，然后挂到一个域名下面 http://ip1:port/openAPI 直连ip模式，机器挂则需要修改ip才可以使用。 http://SLB:port/openAPI 挂载SLB模式(内网SLB，不可暴露到公网，以免带来安全风险 ......
Prometheus的告警模板中(StartsAt.Add 28800e9).Format 出现时间戳不准确的情况
{{ define "email.to.html" }} {{ range .Alerts }} start <br> 告警程序: prometheus_alert <br> 告警级别: {{ .Labels.severity }} 级 <br> 告警类型: {{ .Labels.alertname ......
RabbitMQ集群搭建
1.将上一部分的搭建的rabbitmq环境的虚拟机克隆三份（详细可以参考https://www.cnblogs.com/chongchongstyle/p/17234277.html） 2.修改克隆的机器ip为134、135、136 修改ip可参考 https://www.cnblogs.com/c ......
.Net 6.0定义全局当前身份缓存对象
背景: 当前身份缓存对象顾名思义就是:当前登录的用户身份对象,那它解决了什么问题呢?其实在我们日常开发过程中经常能用的到几乎是必备的,就比如我给某个表插入数据时需要创建人或者一些权限的访问,都得用到当前身份缓存对象,当然啦今天的博客就是因为我们公司研发部门刚成立不久所以导致很多项目不完善,我在开发过 ......
mycat配置数据库集群
mycat配置数据库集群 所有的集群配置，都必须配置多主多从模式，即多个master节点相互之间配置主从，如，master1和slave1为第一组主从，master2和slave2为第二组主从，master1和master2互为对方的主从。 如下配置方式为两个主从模型，两个writeHost互为主从 ......
Vue3+vite项目中如何动态导入并创建多个全局组件
背景 实际开发项目中，有些时候我们需要通过全局注册多个自定义组件，但是每个组件都导入一次，将会导致代码很冗余。 实现方案 customComponents/index.js const files = import.meta.globEager("@/customComponents/*.vue") ......
如何保证消息在99.99%的情况下不丢失
简介 MQ虽然帮我们解决了很多问题，但是也带来了很多问题，其中最麻烦的就是，如何保证消息的可靠性传输。 我们在聊如何保证消息的可靠性传输之前，先考虑下哪些情况下会出现消息丢失的情况。 首先，上图中完整的展示了消息从生产到被消费的完整链路，我们通过图列举下各种情况。 Producer在把Message ......
requireJS 源码（一） require() 为何可以全局使用
requireJS 源码（一） require() 为何可以全局使用 requireJS 源码加注释 总共不到2100行。 我看的 requireJs 版本是 2.19。 总体结构如下。 从截图可以看出，require，requirejs 是全局变量，属于 window对象的一个属性，因此，我们可以 ......