分布式 原理etcd k8s
k8s-etcd
etcd是CoreOS团队于2013年6月发起的开源项目，它的目标是构建一个高可用的分布式键值(key-value)数据库。 etcd内部采用raft协议作为一致性算法，etcd基于Go语言实现。 Etcd具有下面这些属性： 完全复制：集群中的每个节点都可以使用完整的存档 高可用性：Etcd可用于避 ......
k8s Server
1.k8s Server yaml文件编写格式说明： kind: Service #类型为service apiVersion: v1 #service API版本， service.apiVersion metadata: #定义service元数据，service.metadata labels ......
SpringMVC基本原理图
Spring MVC框架主要提供控制体系部分，该控制体系主要包括：前端控制器、控制器 来自客户端的请求首先被【前端控制器】接收，前端控制器再将请求分发给【控制器】，【控制器】处理请求、调用业务模型，并根据业务模型处理结果，向【前端控制器】返回数据（model）和视图名称，【前端控制器】将数据（mod ......
SpringMVC-lesson03-hellospringmvc-原理图分析-2023-03-22
图为SpringMVC的一个较完整的流程图，实线表示SpringMVC框架提供的技术，不需要开发者实现，虚线表示需要开发者实现。 简要分析执行流程 1\DispatcherServlet表示前置控制器，是整个SpringMVC的控制中心。用户发出请求，DispatcherServlet接收请求并拦截 ......
数据库系统原理之数据库编程
数据库编程 第一节 存储过程 一、存储过程的基本概念 存储过程是一组为了完成某项特定功能的 SQL 语句集，其实质上就是一段存储在数据库中的代码，它可以由声明式的 SQL 语句（如 CREATE、UPDATE 和 SELECT 等语句）和过程式 SQL 语句（如 IF...THEN...ELSE 控 ......
数据库系统原理之数据库系统概述
数据库系统概述 一、数据库基本概念 1 数据 数据（Data）是描述事物的符号记录，是指用物理符号记录下来的、可以鉴别的信息。 数据以及关于该数据的解释是密切相关的。 数据的解释是对数据含义的说明，也称为数据的语义，即数据所蕴含的信息。 数据与其语义密不可分，没有语义的数据是没有意义和不完整的。 数 ......
0 爬取的数据，存到mysql中 、1 爬虫和下载中间件、 2 加代理，cookie，header，加入selenium、3 去重规则源码分析（布隆过滤器） 、4 scrapy-redis实现分布式爬虫
0 爬取的数据，存到mysql中 # 存到mysql中 class FirstscrapyMySqlPipeline: def open_spider(self, spider): print('我开了') self.conn = pymysql.connect( user='root', pass ......
笔记-目前在用的若干个前沿的交错DID模型|参考原理与一些注意事项
https://mp.weixin.qq.com/s/xgIZSLspQbP_MoccHuAgPg 原创 small potatoes 经济理论与实证建模 2022-03-08 01:50 软件：Stata、ssc 一些依赖包 did_multiplegt csdid did_imputation ......
物料账的基本原理【转】
物料账的基本原理： 简单来说，物料账，就是SAP给每个物料，按控制级别不同，比如工厂或生产版本，再考虑不同的评估类型（ValuationTYPE）, 销售订单库存，项目库存等评估维度，单独设计的用于计算物料价值、数量及差异的专门技术，所以物料账，就是可以理解为管理上的所谓“差异池”，只是比差异池功能 ......
vue核心原理（Diff算法、虚拟dom）
核心原理&源码 Diff 算法 这里参考大佬文章：https://mp.weixin.qq.com/s/oAlVmZ4Hbt2VhOwFEkNEhw diff 算法的进化 关于 diff 算法的最经典的就是 Matt Esch 的 virtual-dom，以及 snabbdom（被整合进 vue 2 ......
Solon2 接口开发: 分布式 Api Gateway 开发预览
建议使用专业的分布式网关产品，比如： nginx apisix [推荐] k8s ingress controller 等... 对 Solon 来讲，只有 Gateway：它调用本地接口时，则为本地网关；调用远程接口时，则为分布式网关。 1、一个简单的分布式接口网关效果预览 基于上一节的 ApiG ......
分布式锁的实现
多线程对同一资源的竞争，需要用到锁，例如Java自带的Synchronized、ReentrantLock。但只能用于单机系统中，如果涉及到分布式环境（多机器）的资源竞争，则需要分布式锁。分布式锁的主要作用： 保证数据的正确性： 比如：秒杀的时候防止商品超卖，表单重复提交，接口幂等性。 避免重复处理 ......
django 使用django-bootstrap4插件时，使表单呈2列或其他列分布时的写法
前言 django 使用django-bootstrap4插件时，使表单呈2列或其他列分布时的写法。 在django-bootstrap4中没有内置的方法设置表单内容成几列分布，这里采用bootstrap4的栅格布局实现效果 具体操作 forms.py class RegisterForm(User ......
128道高频k8s高频面试题
1、简述ETCD及其特点? 2、简述ETCD适应的场景? 3、简述什么是Kubernetes? 4、简述Kubernetes和Docker的关系? 5、简述Kubernetes中什么是Minikube、Kubectl、Kubele t? 6、简述Kubernetes常见的部署方式? 7、简述Kube ......
分布式理论
一、分布式理论 1.CAP理论 CAP理论是说对于分布式数据存储，最多只能同时满足一致性（C，Consistency）、可用性（A， Availability）、分区容忍性（P，Partition Tolerance）中的两者。 1.一致性 是指对于每一次读操作，都能够读到最新写入的数据，且每个节点 ......
《杠杠原理-反驳动质量》 回复
《杠杠原理-反驳动质量》 https://tieba.baidu.com/p/8316454527 回复 5 楼 @黎合胜 ， “如果质量是矢量，存在动质量增加，那对应的必须存在动质量减少。” 对， 这其实就是 不同 的 相对速度 有 不同的 动质量， 等一下， 不同的 相对速度， 是 相对于 观察 ......
C++ 迪利克雷（Dirichlet）分布
遇到一个要使用 dirichlet 分布的情形，发现 C++ 标准库中没有现成的。查阅维基百科发现，虽然它挺复杂，但是它跟 Gamma 分布有如下关系： 设有 K 个相互独立且分别满足 Gamma 分布的分布： $$Y_1 \sim Gamma(\alpha_1, \theta), ..., Y_K ......
k8s系统初始化
1）主机域名解析： 打开hosts文件： vim /etc/hosts 在文件中添加： 192.168.135.133 192.168.135.141 192.168.135.142 2）设置时间同步： systemctl start chronyd systemctl enable chronyd ......
分布式协议与算法实战 - 分布式算法 gossip QuorumNWR PBFT ZAB
Gossip 二阶段提交协议和Raft需要大部分节点能够工作，在极端情况，如只有一个节点能正常运行，这些方法就不适用了。根据Base理论要实现最终一致性。 Gossip协议利用一种随机、带有传染性的方式，将信息传播到网络中，并在一定时间内使所有节点数据一致。 直接邮寄（Direct Mail）：直接 ......
k8s通过deployment创建pod失败排查
k8s集群中，deployment启动后没有成功创建pod，通过“kubectl describe deployment ${DEPLOY_NAME} ”，看到如下日志，只看到“ReplicaFailure True FailedCreate”，但是没有failed的原因。 其实原因藏在edit d ......
docker-selenium分布式环境搭建（基于selenium的grid分布式框架）
说明：docker-selenium分布式是基于selenium的grid分布式框架进行搭建 以下是docker-selenium分布式网络拓扑图： 从图中可以看出： 1）docker-selenium可以用作浏览器兼容性测试； 2）docker-selenium分布式，可以提高测试用例的执行效率， ......
Redis实现分布式锁
Redis实现分布式锁 前言 分布式锁的实现有三种方式 数据库乐观锁 基于Redis的分布式锁 基于Zookeeper的分布式锁 分布式锁满足的条件 为了确保分布式锁可用，我们至少要保证锁的实现同时满足以下几个条件 互斥性：在任意时刻只有一个客户端能持有锁 不会死锁：即使有一个客户端在持有锁的期间发 ......
Redis_IO多路复用底层原理
从底层了解IO多路复用模型 前言 当我们去面试的时候，问到了 redis，nginx，netty他们的底层模型分别是什么？ redis -> epoll nginx-> epoll netty-> epoll? 需要从操作系统的层面上来谈 BIO 当我们开机的时候，首先被加载进内存的是我们的Kern ......
使用kubeadm快速部署一个K8s集群
kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具。 这个工具能通过两条指令完成一个kubernetes集群的部署： # 创建一个 Master 节点 $ kubeadm init # 将一个 Node 节点加入到当前集群中 $ kubeadm join <Master节点 ......
使用kubeadm搭建高可用的K8s集群
kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具。 这个工具能通过两条指令完成一个kubernetes集群的部署： # 创建一个 Master 节点 $ kubeadm init # 将一个 Node 节点加入到当前集群中 $ kubeadm join <Master节点 ......
Exp2-后门原理与实践
基础问题回答(1)例举你能想到的一个后门进入到你系统中的可能方式？ 浏览网页的时候，点击页面的广告可能会被植入后门。(2)例举你知道的后门如何启动起来(win及linux)的方式？ 对后门程序进行伪装，例如重命名成某个广告的关闭程序之类的，诱骗用户点击启动； Linux下可以通过cron来启动。(3 ......
Android数据结构-SparseArray实现原理
SparseArray家族 SparseArray基于键值对存储数据，key为int，value为object，简单使用如下： //声明 SparseArray<String> sparseArray= new SparseArray<>(); //增加元素，append方式 sparseArray ......
Cadence16.6批量修改原理图中器件属性
https://blog.csdn.net/cheer_me/article/details/115678835 操作步骤如下 (1) 选中.dsn设计⼯程⽂件—>Tools—>Export properties—>默认选项并点击OK。即可⽣成⼀个后缀名为.EXP的⽂件。 关于Instance和 O ......
分布式ID生成-雪花算法(Snowflake)
1 描述 使用原生Java方式生成雪花算法, 雪花算法是推特公司开源的生成唯一ID的算法, 性能更高，可以避免对第三方依赖的使用, 减少耦合 1）能满足高并发分布式系统环境下ID不重复 2）基于时间戳，可以保证基本有序递增，即按照时间趋势递增（有些业务场景对这个有要求） 3）算法本身不依赖第三方的库 ......