分布式 中间件 集群 概念

操作系统概念

1 基本概念 1.1 操作系统 定义:从计算机加电运行后一直在内存运行的程序,又称 “内核”。 1.2 进程 指进行中的程序,既进程=程序+执行。 1.3 线程 线程是进程的一个实体,是 CPU 调度和分派的基本单位,它是比进程更小的能独立运行的基本单位。 1.4 内核态和用户态 内核态:拥有计算机 ......
概念 系统

HDP集群配置phoenix

1、说明 使用ambari+HDP集群安装的hbase,已经自带了phoenix,并已经做了集成; 这里需要修改/添加几个配置即可; 2、配置 #启用用户自定义函数(UDF) <property> <name>phoenix.functions.allowUserDefinedFunctions</ ......
集群 phoenix HDP

LeetCode|876. 链表的中间结点

题目链接:876. 链表的中间结点 难度简单829收藏分享切换为英文接收动态反馈 给你单链表的头结点 head ,请你找出并返回链表的中间结点。 如果有两个中间结点,则返回第二个中间结点。 示例 1: 输入:head = [1,2,3,4,5] 输出:[3,4,5] 解释:链表只有一个中间结点,值为 ......
结点 LeetCode 876

Solon2 接口开发: 分布式 Api Gateway 开发预览

建议使用专业的分布式网关产品,比如: nginx apisix [推荐] k8s ingress controller 等... 对 Solon 来讲,只有 Gateway:它调用本地接口时,则为本地网关;调用远程接口时,则为分布式网关。 1、一个简单的分布式接口网关效果预览 基于上一节的 ApiG ......
分布式 接口 Gateway Solon2 Solon

分布式锁的实现

多线程对同一资源的竞争,需要用到锁,例如Java自带的Synchronized、ReentrantLock。但只能用于单机系统中,如果涉及到分布式环境(多机器)的资源竞争,则需要分布式锁。分布式锁的主要作用: 保证数据的正确性: 比如:秒杀的时候防止商品超卖,表单重复提交,接口幂等性。 避免重复处理 ......
分布式

django 使用django-bootstrap4插件时,使表单呈2列或其他列分布时的写法

前言 django 使用django-bootstrap4插件时,使表单呈2列或其他列分布时的写法。 在django-bootstrap4中没有内置的方法设置表单内容成几列分布,这里采用bootstrap4的栅格布局实现效果 具体操作 forms.py class RegisterForm(User ......

通用编程概念

变量和可变性 默认情况下变量是不可变的(immutable),这是 Rust 众多精妙之处的其中一个,这些特性让你充分利用 Rust 提供的安全性和简单并发性的方式来编写代码,不过你也可以选择让变量是可变的(mutable) 当变量不可变时,这意味着一旦一个值绑定到一个变量名后,就不能更改该值了,为 ......
概念

大数据之—kafka集群环境

前言 参考:https://blog.csdn.net/huxili2020/article/details/120371459 一、安装 mkdir -p /opt/kafka && cd /opt/kafka tar -zxvf /opt/kafka/kafka_2.13-3.3.1.tgz m ......
集群 环境 数据 kafka

大数据之—HBase集群环境搭建

前言 参考:https://blog.csdn.net/huxili2020/article/details/120459471 前置条件:Hadoop、Zookeeper 均需要正常的集群环境 官网:https://hbase.apache.org/downloads.html 软件仓库:http ......
集群 环境 数据 HBase

分布式理论

一、分布式理论 1.CAP理论 CAP理论是说对于分布式数据存储,最多只能同时满足一致性(C,Consistency)、可用性(A, Availability)、分区容忍性(P,Partition Tolerance)中的两者。 1.一致性 是指对于每一次读操作,都能够读到最新写入的数据,且每个节点 ......
分布式 理论

Yocto 2:Yocto基本概念、编译流程、目录

关键词:Recipe、Layer、Metadata、Poky、bitbake等等。 1 关键概念 深入了解Yocto之前,先了解一些基本概念。在Software – Yocto Project有说明。 这里摘录一段中文翻译: 配置文件: 包含全局定义变量,用户定义变量和硬件配置信息。配置文件告诉构建 ......
Yocto 流程 概念 目录

Predixy 代理 Redis Cluster 集群

1、环境 服务器名称 IP地址 备注 predixy-161-130 10.32.161.130 Predixy redis-161-131 10.32.161.131 redis节点 redis-161-132 10.32.161.132 redis节点 redis-161-133 10.32.1 ......
集群 Predixy Cluster Redis

Twemproxy(nutcracker)代理 Redis Cluster 集群

1、环境 服务名称 IP地址 备注 twemproxy-161-130 10.32.161.130 twemproxy (nutcracker) redis-161-131 10.32.161.131 redis节点 redis-161-132 10.32.161.132 redis节点 redis ......
集群 nutcracker Twemproxy Cluster Redis

C++ 迪利克雷(Dirichlet)分布

遇到一个要使用 dirichlet 分布的情形,发现 C++ 标准库中没有现成的。查阅维基百科发现,虽然它挺复杂,但是它跟 Gamma 分布有如下关系: 设有 K 个相互独立且分别满足 Gamma 分布的分布: $$Y_1 \sim Gamma(\alpha_1, \theta), ..., Y_K ......
Dirichlet

分布式协议与算法实战 - 分布式算法 gossip QuorumNWR PBFT ZAB

Gossip 二阶段提交协议和Raft需要大部分节点能够工作,在极端情况,如只有一个节点能正常运行,这些方法就不适用了。根据Base理论要实现最终一致性。 Gossip协议利用一种随机、带有传染性的方式,将信息传播到网络中,并在一定时间内使所有节点数据一致。 直接邮寄(Direct Mail):直接 ......
分布式 算法 实战 QuorumNWR gossip

Zookeeper 3.8.0 集群安装及监控

Zookeeper 集群安装及监控 1. 前言 业务需要对Zookeeper集群进行监控,发现的方案有三种: JMX zookeeper exporter ZK Monitor(Since 3.6.0) 采用JMX 进行监控,可获取到的指标项不够丰富。Zookeeper Exporter监控可获得的 ......
集群 Zookeeper

docker-selenium分布式环境搭建(基于selenium的grid分布式框架)

说明:docker-selenium分布式是基于selenium的grid分布式框架进行搭建 以下是docker-selenium分布式网络拓扑图: 从图中可以看出: 1)docker-selenium可以用作浏览器兼容性测试; 2)docker-selenium分布式,可以提高测试用例的执行效率, ......

Redis实现分布式锁

Redis实现分布式锁 前言 分布式锁的实现有三种方式 数据库乐观锁 基于Redis的分布式锁 基于Zookeeper的分布式锁 分布式锁满足的条件 为了确保分布式锁可用,我们至少要保证锁的实现同时满足以下几个条件 互斥性:在任意时刻只有一个客户端能持有锁 不会死锁:即使有一个客户端在持有锁的期间发 ......
分布式 Redis

使用kubeadm快速部署一个K8s集群

kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具。 这个工具能通过两条指令完成一个kubernetes集群的部署: # 创建一个 Master 节点 $ kubeadm init # 将一个 Node 节点加入到当前集群中 $ kubeadm join <Master节点 ......
集群 kubeadm K8s K8 8s

使用kubeadm搭建高可用的K8s集群

kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具。 这个工具能通过两条指令完成一个kubernetes集群的部署: # 创建一个 Master 节点 $ kubeadm init # 将一个 Node 节点加入到当前集群中 $ kubeadm join <Master节点 ......
集群 kubeadm K8s K8 8s

citus 11.2 更好的支持patroni 集群部署

citus 11.2 可以更好的支持基于patroni 的集群环境部署了,同时patroni 官方也提供了相关的文档专门介绍如何进行citus ha 的部署 我以前有简单说明过基于patroni+ citus 11 进行实际部署,目前官方提供了类似的能力,可以省去我们不少时间 部署一些简单说明 参考 ......
集群 patroni citus 11.2 11

OrCAD中两个重要概念:instance 和 occurrences

用OrCAD设计原理图必须理解两个概念instance 和 occurrences。对于元件放置、替换、修改属性等很多操作都和这两个概念有关。 抛开抽象的说明,我们用实例说明他们的区别。假如你在自己的元件库中已经建立了一个元件AD8056(AD公司的运放)。在原理图page1中需要放入两个AD805 ......
occurrences instance 概念 两个 OrCAD

分布式ID生成-雪花算法(Snowflake)

1 描述 使用原生Java方式生成雪花算法, 雪花算法是推特公司开源的生成唯一ID的算法, 性能更高,可以避免对第三方依赖的使用, 减少耦合 1)能满足高并发分布式系统环境下ID不重复 2)基于时间戳,可以保证基本有序递增,即按照时间趋势递增(有些业务场景对这个有要求) 3)算法本身不依赖第三方的库 ......
分布式 算法 雪花 Snowflake

KubeSphere Cloud 月刊|灾备支持 K8s 1.22+,轻量集群支持安装灾备和巡检组件

功能升级 备份容灾服务支持 K8s v1.22+ 版本集群 随着 Kubernetes 近一年频繁的发版、升级,越来越多的用户开始部署并使用高版本的 Kubernetes 集群。备份容灾服务支持 Kubernetes v1.22+ 版本的集群后,能够尽可能地覆盖用户新版本集群上的容器化应用,为核心的 ......
轻量 月刊 集群 KubeSphere 组件

云服务概念--Region AZ VPC

Region AZ(Availability Zone) 每个 Region 中包含数个独立的,物理分隔开的 AZ(Availability Zone),每个 AZ 有独立的供电,制冷,安保。 同一 Region 内 AZ 之间由高带宽,极低延时的光纤网络相连,数据以加密形式传输。 每个 AZ 下包 ......
概念 Region VPC AZ

mysql集群搭建docker-compose方案

MySQL集群搭建大致有两种方式,一种是单主/多从的主从复制方式,另一种是使用Galera Cluster高可用解决方案。 1、步骤 以下我们详细介绍一下单主/多从的主从复制方式: 确认服务器环境,采用官方支持的操作系统版本和MySQL版本,并保证主从服务器之间的网络连接能够正常通信。 安装MySQ ......
集群 docker-compose compose 方案 docker

scrapy架构介绍、scrapy解析数据、scrapy解析数据、持久化方案、全站爬取cnblogs文章、爬虫和下载中间件、加代理,cookie,header,加入selenium

# 1 selenium -登录cnblogs,拿到cookie,再打开cnblogs,写入cookie,它就是登录状态 -半自动点赞 》selenium生成的cookie,给requests用 -selenium操作浏览器,速度慢 -requests速度快 -动作链 -自动登录12306 # 2 ......
scrapy 数据 爬虫 中间件 全站

继承基本概念

是一种代码复用机制,通过继承,一个类(称为派生类或子类)可以继承另一个类(称为基类或父类)的属性和行为。子类继承父类的成员变量、成员函数、构造函数和析构函数等,并且可以在此基础上增加或修改自己的成员变量和成员函数,以实现特定的功能需求。 继承可以分为单继承和多继承。单继承是指一个派生类只能继承一个基 ......
概念

虚函数基本概念

class Animal { public: virtual void makeSound() { std::cout << "The animal makes a sound." << std::endl; } }; class Dog : public Animal { public: void ......
函数 概念

浅谈分布式环境下WebSocket消息共享问题

浅谈分布式环境下WebSocket消息共享问题 技术分析 我们在开发时会遇到需要使用即时通讯的场景,当然,实现方式很多,Socket、MQTT、Netty....等等。 具体用哪种就在于业务的需求了,去选择合理的方式实现。 今天小简要聊的场景便是分布式环境下,WebSocket的消息共享问题。 分布 ......
分布式 WebSocket 消息 环境 问题