集群vmware hdfs
如何将VMWare的虚机转换为Hyper-V
MVMC(Microsoft Virtual Machine Converter)MSI for 3.0 (mvmc_setup.msi; 25 MB): https://download.microsoft.com/download/9/1/E/91E9F42C-3F1F-4AD9-92B7-8D ......
HDFS读流程
步骤1:FileSystem通过rpc调用open()方法 步骤2:NameNode校验请求文件的路径,权限等问题,校验成功后返回FSDateInputsteam 步骤3:用户向NameNode请求文件与block的关系,通过映射获取文件block块位置 步骤4:通过机架感知策略就近原则,获取最近b ......
VMware vSphere 8 Update 2 新增功能
VMware vSphere 8 Update 2 新增功能 请访问原文链接:,查看最新版。原创作品,转载请保留出处。 作者主页:[sysin.org](https://sysin.org) vSphere 8.0 Update 2 即将发布,让我们先来了解一下其新增功能,下载可用时可在以下地址获得 ......
HDFS写流程(微观层面)
解释: 步骤1:客户端首先将数据加载到内存中,变成很多的package大小默认为64K,package由两个部分组成,header里面包含了很多的位置信息, 例如属于哪个block,在block什么位置,data部分是存储数据 步骤2:通过FSDateOutputStream将block运输到数据管 ......
VMware Horizon 6 部署
参考: https://blog.51cto.com/zhangzhk/2352758 所需软件包: https://pan.baidu.com/s/16smuSMLAgwFWqN_XbTP_MA 提取码: nrhw 前提条件是已安装好vCenter,并在vCenter上添加了EXSi主机(至少一台 ......
Elasticsearch7.8集群实践记录之下线节点
1.背景:由于机房迁移需要将elasticsearch集群进行跨机房搬迁,采取先扩容再收缩的方式进行,已有效减小对业务环境的影响。当前需要将老的节点有序下线。 2.操作步骤: 1.检查集群配置,保证主节点的可用性; # 设置 minimum_master_nodes 为 2 curl -XPUT ' ......
54-Kubernetes集群资源监控-监控指标和方案
集群资源监控 1.监控指标 集群监控 节点资源利用率(node1/2节点,每个节点cpu用了多少还剩多少) 节点数(3个在忙碌1个在空闲状态要考虑节点数的监控) 运行pods(1个节点运行了多少pod) Pod监控 容器指标(pod中运行了多少容器) 应用程序(看到当前集群的完整情况) 2.监控平台 ......
Elasticsearch7.8集群实践记录
1.背景:当需要开发团队搭建自有elasticsearch集群时候,需要先明确具体的应用场景,进而对可用性,性能以及容量进行评估。当前实践记录主要应用场景在于业务日志记录短暂保存以便提供近期数据查询,并选择elasticsearch版本7.8.0,可用性要求三个9,每日数据量月1.5T,数据保存大约 ......
VMware Tanzu Kubernetes Grid (TKG) 2.3 - 企业级 Kubernetes 解决方案
VMware Tanzu Kubernetes Grid (TKG) 2.3 - 企业级 Kubernetes 解决方案 VMware 构建、签名和支持的开源 Kubernetes 容器编排平台的完整分发版 请访问原文链接:,查看最新版。原创作品,转载请保留出处。 作者主页:[sysin.org]( ......
kubeadm快速构建K8S1.28.1高可用集群
kubeadm快速构建K8S1.28.1高可用集群 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 ......
在vmware里安装ubuntu的简单过程(具体的见网址)
在官网选择vmware版本为16,安装后,在vmware里升级到最新版。(这个可以解决蓝屏) 在下面的这个文章里下载ubuntu的镜像文件iso,我下载的是16年的,内存为1.6GB,下载的时间用的少一点,有的要4个G, https://blog.csdn.net/m0_45834939/artic ......
集群版 FastDFS 的部署和使用
生产环境中一般不可能将用户上传的文件存放在单机,绝大多数情况下会搭建文件服务器集群,确保文件的互相备份和高可用。上一篇博客已经对 FastDFS 分布式文件系统进行了介绍,这里不再赘述。由于我个人笔记本电脑性能有限,因此本篇博客将使用 2 台虚拟机搭建 FastDFS 集群,实现 2 台机器之间文件 ......
redis cluster集群安装(CentOS7 + redis 5.0.14)
Linux系统-部署-运维系列导航 redis cluster介绍 redis最开始使用主从模式做集群,若master宕机需要手动配置slave转为master;后来为了高可用提出来哨兵模式,该模式下有一个哨兵监视master和slave,若master宕机可自动将slave转为master,但它也 ......
kafka集群安装(CentOS7 + kafka 2.7.1)
Linux系统-部署-运维系列导航 kafka介绍 Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了 ......
zookeeper集群安装(CentOS7 + zookeeper 3.7.0)
Linux系统-部署-运维系列导航 zookeeper介绍 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、 ......
Redis安装与使用、redis主从复制、redis集群
# Redis 文章内容主要参考b站 运维实战课程 的redis视频:[redis的课程介绍_哔哩哔哩_bilibili](https://www.bilibili.com/video/BV1cP4y1D7yh?p=1) ## 简介 1.Redis是一个缓存数据库,主要是做缓存。什么是缓存?也就是缓 ......
ES集群搜索稳定性保障
如果将 Elasticsearch(ES)作为线上C端服务的查询引擎,那么 search query 的响应时间则至关重要。因为毕竟面向C端用户,如果一个搜索请求 1 秒内还未返回,那么用户将不可接受。 因此,C端服务对ES的性能稳定性做了许多工程上的优化,比如: 1. 强制将索引的段文件设置为1, ......
关于XXLJOB集群模式下调度失败的问题
xxljob在集群模式下调度高频任务时,有时会出现调度失败的问题,具体报错如下: java.io.EOFException: HttpConnectionOverHTTP@6be8bf0c(l:/10.48.2.64:38538 <-> r:/10.48.1.125:18989,closed=fal ......
MySQL MGR集群部署运维常用脚本
Linux系统-部署-运维系列导航 安装、初始化操作汇总 #初始化、重置mysql rm -rf /data/mysql/ ; mkdir -p /data/mysql/data /data/mysql/log ; chown -R mysql:mysql /data/mysql/ ; chmod ......
随笔(三十二)『Linux - es集群』
### 1、使用VMware安装虚拟机 ``` 参考: http://e.betheme.net/article/show-298568.html?action=onClick ``` ### 2、准备3台虚拟机 ``` IP分别为: vm_es_1:192.168.195.102 vm_es_2: ......
MySQL MGR集群搭建(CentOS7 + MySQL 5.7.35)
Linux系统-部署-运维系列导航 一、MGR架构的介绍 1、简介 MGR(MySQL Group Replication)是MySQL5.7.17版本引进来的一个数据库高可用架构,解决了传统异步复制和半同步复制的缺陷(主从数据一致性的问题),MGR依靠分布式一致性协议PAXOS,实现了主从数据库的 ......
Ubuntu部署Hadoop集群
## 前期准备 ### 系统及软件版本说明 本章操作中所使用的相关操作系统及软件版本如下: | 软件 | 版本 | | | | | 操作系统 | Ubuntu 14.04.1 | | JDK | 1.8.0 | | Hadoop | 2.7.3 | ### JDK 安装 集群中每台机器都需要安装 J ......
Ubuntu部署Spark集群
## 前期准备 ### 系统及软件版本说明 本章操作中所使用的相关操作系统及软件版本如下: | 软件 | 版本 | | | | | 操作系统 | Ubuntu 14.04.1 | | JDK | 1.8.0 | | Hadoop | 2.7.3 | | Spark | 2.2.0 | ### JDK ......
使用 Sealos 在离线环境中光速安装 K8s 集群
> 作者:尹珉。Sealos 开源社区 Ambassador,云原生爱好者。 ## 当容器化交付遇上离线环境 在当今快节奏的软件交付环境中,容器化交付已经成为许多企业选择的首选技术手段。在可以访问公网的环境下,容器化交付不仅能够提高软件开发和交付的效率,还能够帮助企业实现快速迭代和持续交付。 然而, ......
在VMware Fusion中安装Android x86
一、首先我们先要准备好虚拟机和android系统安装包 1、VMware下载:https://www.vmware.com/go/getworkstation-win 激活码:ZF3R0-FHED2-M80TY-8QYGC-NPKYF 2、Android系统下载:Android-x86 二、安装过程 ......
VMware NSX Advanced Load Balancer (NSX ALB) 30.1.1 发布 - 多云负载均衡平台
VMware NSX Advanced Load Balancer (NSX ALB) 30.1.1 发布 - 多云负载均衡平台 请访问原文链接:,查看最新版。原创作品,转载请保留出处。 作者主页:[sysin.org](https://sysin.org) 负载均衡平台 **NSX Advance ......
rocket集群环境搭建-主从集群
1.准备环境 搭建2主2从的异步刷盘的集群,使用conf/2m-2s-async下的配置文件。 机器 nameserver部署 broker部署 192.168.19.132 部署 192.168.19.133 部署 broker-a,broker-b-s 192.168.19.134 部署 bro ......
SpringBoot集成redis集群
1、添加依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> <exclusions> <!-- 过滤lettuce,使用 ......
如何使用VMware ESXi安装一台Windows虚拟机
## 1. 前言 最近在开发一个Tauri桌面应用, 由于Tauri应用的跨平台编译特性还不是特别完善, 比如打包Windows桌面应用程序, 需要在Windows上进行. 于是想到了是否能安装一台Windows虚拟机用于打包, 并兼顾Windows上的测试. 于是就有了这篇文章. 本文原文位于[鹏 ......