分布式 集群hdfs
指数分布和泊松过程(Exponential Distribution and Poisson Process)--1
Exponential Distribution 随机变量$X$服从指数分布的参数为$\lambda$的密度函数是：$f(x) = \left{\begin{align*} &\lambda e^{-\lambda x},\quad x\geq 0\ &0,\quad else \end{align ......
[Hadoop] 在集群中安装Hadoop
[Hadoop] 在集群中安装Hadoop 类似的教程其实有很多，网上随便一搜就是一大把。这里简单的记录一下本人的安装过程，留给本人或者后人参考。 集群配置 内网互联的三台机器，IP分别为10.0.0.1,10.0.0.2,10.0.0.3。 我们的目标配置是让10.0.0.1做主节点，也就是mas ......
分布式场景下，如何对外提供易变的服务，打造可靠的注册中心？
摘要：本文讲了关于服务发现的很多干货内容，核心内容为服务发现组件的选择、网关的介绍、 客户端侧如何发给已发现的服务。 本文分享自华为云社区《分布式场景下，如何对外提供易变的服务，打造可靠的注册中心？》，作者：breakDawn。 随着云原生的概念越来越火，服务的架构应该如何发展和演进，成为很多程序员 ......
Linux 搭建redis集群（哨兵模式）
环境： 192.168.56.101 192.168.56.102 192.168.56.103 1、在三台服务器上都安装redis 安装步骤：https://www.cnblogs.com/leihongnu/p/14734603.html 2、配置主从 192.168.556.101：配置文件r ......
hadoop 3.3.5伪分布式集群部署
hadoop包下载 https://archive.apache.org/dist/hadoop/common/ 安装好jdk并配置环境变量 下载hadoop压缩包并放至 /data/hadoop目录 解压 tar -zxvf hadoop-3.3.5.tar.gz 1配置 1.1在Hadoop安装 ......
5 离散概率分布的运用：善用期望
随机变量与变量 概率分布描述了一个给定变量的所有可能结果的概率; 随机变量是一个可以等于一系列数值的变量，而这一系列数值中的每一个值都与一个特定概率相关联; 在肥蛋赌场Tiger机这个例子中，随机变量代表我们将在每一局赌局中赢得的收益; 随机变量通常用大写字母表示，如X或Y; 变量能够采用的特定数值 ......
分布式系统唯一ID生成方案汇总
系统唯一ID是我们在设计一个系统的时候常常会遇见的问题，也常常为这个问题而纠结。生成ID的方法有很多，适应不同的场景、需求以及性能要求。所以有些比较复杂的系统会有多个ID生成的策略。下面就介绍一些常见的ID生成策略。 1. 数据库自增长序列或字段 最常见的方式。利用数据库，全数据库唯一。 优点： 1 ......
【IT老齐019】Seata分布式事务解决方案
【IT老齐019】Seata分布式事务解决方案 Seata 是一款开源的分布式事务解决方案，致力于在微服务架构下提供高性能和简单易用的分布式事务服务。在 Seata 开源之前，其内部版本在阿里系内部一直扮演着应用架构层数据一致性的中间件角色，帮助经济体平稳的度过历年的双11，对上层业务进行了有力的技 ......
分布式系统复习
这啥玩意都没讲的课要考了。。。 1. 云计算与大数据 1.1 云计算的3个服务模型 IaaS，基础设施即服务 PaaS，平台即服务 SaaS，软件即服务 云计算的3中服务模型之间的关系：IaaS提供虚拟化的硬件资源，支撑PaaS对平台的虚拟化，而PaaS又支撑了SaaS对软件的虚拟化。 1.2 DI ......
使用kubeadm快速部署k8s集群
使用kubeadm快速部署k8s集群 一、环境准备 操作系统 CentOS7.x-86_x64 硬盘：40G+ | 角色 | IP | | | | | master | 192.168.130.10 | | node | 192.168.130.20 | 二、kubeadm工具介绍 kubeadm是 ......
Kafka基础阶段与集群搭建详细教程
Kafka第一天课堂笔记 一.Kafka简介 1.1消息队列 消息队列——用于存放消息的组件 程序员可以将消息放入到队列中，也可以从消息队列中获取消息 很多时候消息队列不是一个永久性的存储，是作为临时存储存在的（设定一个期限：设置消息在MQ中保存10天） 消息队列中间件：消息队列的组件，例如：Kaf ......
elasticsearch集群及kibana安装
系统配置 创建一个用户elastic，不能使用root用户启动 配置该用户环境变量 ,用户home目录 .bash_profile文件 #配置ES_JAVA_HOME使用es自带jdk export ES_JAVA_HOME=/data/es/elasticsearch/jdk #修改最大文件句柄数 ......
k8s集群部署搭建
一.搭建环境 win11 16G+1t VMware虚机 4G+2G+2G 二.拓扑图 master+2node 三.ip 划分 四.前置条件配置完成，按照文档进行搭建即可，最终实现效果如下图 ......
Hadoop之HDFS的API操作文件的上传下载参数的优先级
Hadoop之HDFS的API操作文件的上传下载参数的优先级 package com.itnihao.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import o ......
K8S集群管理工具、平台
1 Rancher Rancher中文官网：https://docs.rancher.cn/ 2 KubeSphere 官网：https://kubesphere.com.cn/ 面向云原生应用的 容器混合云 KubeSphere 愿景是打造一个以 Kubernetes 为内核的云原生分布式操作系统 ......
分布式架构-API网关
参考：https://developer.aliyun.com/article/1199004?utm_content=g_1000371169 API网关核心能力 统一域名证书 鉴权：访问认证鉴权、JWT鉴权（Token）、第三方鉴权（用户配置自己的鉴权服务为API的访问进行鉴权，API网关在调用 ......
分布式光监测系统的应用
安科瑞虞佳豪 分布式光伏发电系统应用范围：可在农村、牧区、山区，发展中的大、中、小城市或商业区附近建造，解决当地用户用电需求。 分布式光伏发电系统，又称分散式发电或分布式供能，是指在用户现场或靠近用电现场配置较小的光伏发电供电系统，以满足特定用户的需求，支持现存配电网的经济运行，或者同时满足这两个方 ......
k8s-外置ETCD集群部署
如何把ETCD的数据库备份，以及还原的操作方法（待更新中） 地址： Etcd 是一个分布式键值存储系统，Kubernetes使用Etcd进行数据存储，所以先准备一个Etcd数据库，为解决Etcd单点故障，应采用集群方式部署，这里使用3台组建集群，可容忍1台机器故障。为了节省机器，这里把3个ETCD实 ......
k8s集群-CNI网络插件（Calico 和 Flannel）
1）部署flannel网络(主节点服务器) 在主节点服务器上查看子节点状态为NotReady [root@k8s-master01-15 ~]# kubectl get node NAME STATUS ROLES AGE VERSION k8s-master01-15 NotReady maste ......
kubeadm安装-k8s集群（阿里云服务）【转】-实测安装成功
部署Kubeadm遇到的哪些问题，并且如何解决 http://www.shanhubei.com/archives/2581.html k8s集群-CNI网络插件 地址：http://www.shanhubei.com/archives/2582.html 1、初始化服务器设置(三台都要) 环境机器 ......
Celery - 分布式任务队列
Celery - 分布式任务队列 1 celery简介 1.1 什么是celery Celery是一个用Python编写的分布式任务队列框架。它允许开发者将任务分发到多台服务器或进程中执行，从而实现高效的异步任务处理。 Celery框架基于消息传递实现，任务可以在多个节点之间异步传递和执行，这大大提 ......
分布式有状态服务的调度技术预研报告
1. 研究项目背景 平台版本建设中，为了充分发挥视频分析引擎性能，需要针对业务特点，现有的分布式调用方式无法满足需求，需要研究分布式服务的有状态调用实现。 2. 技术现状分析 2.1 分布式有状态服务调度技术的发展历程 固定分配 最初的分布式有状态服务调度技术采用固定分配的方式，即将每个服务实例分配 ......
8 07 | 海量数据处理技术回顾：为什么分布式会遇到 CAP 难题？
你好，我是李智慧。 在这个模块的几个案例中，我们都需要处理海量的数据，需要用到海量的存储介质，其实海量数据本质上就是一种磁盘资源敏感的高并发场景。 我们说过，为了应对资源不足的问题，我们常采用水平伸缩，即分布式的方案。数据存储的分布式问题是所有分布式技术中最具挑战性的，因为相对于“无状态”（stat ......
DB - HDFS (Hadoop Distributed File System)
Hadoop Distributed File System，简称 HDFS，是一个分布式文件系统。 HDFS 有着高容错性（fault-tolerent）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有 ......
Hadoop运行集群搭建
Hadoop运行集群搭建 虚拟机环境准备 安装虚拟机及基本配置 IP地址192.168.10.100、主机名称hadoop100,内存4G、硬盘50G 测试下虚拟机联网情况 1 [root@hadoop100 ~]# ping www.baidu.com 2 PING www.baidu.com ( ......
BP神经网络的数据分类预测和故障信号诊断分类matlab代码 ，直接运行出数据分类结果和误差分布，注释详细易
BP神经网络的数据分类预测和故障信号诊断分类matlab代码 ，直接运行出数据分类结果和误差分布，注释详细易读懂，可直接套数据运行。PS：基于遗传算法的BP神经网络数据分类预测，基于PNN概率神经网络数据分类matlab等。 ID:9639629797361519 ......
MATLAB代码：分布式电源接入对配电网影响分析
MATLAB代码：分布式电源接入对配电网影响分析关键词：分布式电源 配电网 评估 参考文档：《自写文档，联系我看》参考选址定容模型部分；仿真平台：MATLAB 主要内容：代码主要做的是分布式电源接入场景下对配电网运行影响的分析，其中，可以自己设置分布式电源接入配电网的位置，接入配电网的有功功率以及无 ......
用了这么多年Rust终于搞明白了内存分布！
Rust作为一门学习曲线十分陡峭的语言，掌握其核心基础数据结构的内存分布对学习Rust会有很大的帮助，本文由浅入深仔细介绍了Rust的各个数据结构在内存中的分布情况。 ......
HDFS网页访问静态用户设置
在使用网页删除文件夹时，被提示权限不够，因为默认是以普通用户权限访问，而文件夹时root用户的 配置网页默认访问用户为root <!-- 配置HDFS网页端使用的静态用户 --> <property> <name>hadoop.http.staticuser.user</name> <value>r ......