hadoop集群

四、Hadoop-HA 与 Hadoop-federation

一、Hadoop-HA 1.1 Hadoop1.x带来的问题 1、单点故障 a. 每个群集同一时刻只能有一个NameNode,NameNode存在单点故障(SPOF)。 ​ b. 如果该计算机或进程不可用,则整个群集在整个NameNode重新启动或在另一台计算机上启动之前将不可用 ​ c. 如果发生 ......

二、Hadoop集群搭建与学习

Hadoop集群搭建(完全分布式版本) 一、准备工作 三台虚拟机:master、node1、node2 时间同步(3.x版本不用做) ntpdate ntp.aliyun.com 调整时区 3.x版本不用做) cp /usr/share/zoneinfo/Asia/Shanghai /etc/loc ......
集群 Hadoop

中间件:Redis-x64-5.0.14.1高可用集群-哨兵(Sentinel)模式(Win10)

原文:https://blog.csdn.net/chenyang_wei/article/details/127846656 在 Redis 主从复制模式中,因为系统不具备自动恢复的功能,所以当主服务器(master)宕机后,需要手动把一台从服务器(slave)切换为主服务器。在这个过程中,不仅需 ......
哨兵 中间件 集群 Sentinel Redis-x

kubernetes集群使用容器镜像仓库Harbor

1、容器镜像仓库Harbor部署 在docker主机部署Harbor,安装过程比较简单 在k8s集群中部署Harbor 2、使用Harbor仓库 2.1 通过secret使用Harbor仓库 新建私有仓库 集权所有节点配置harbor仓库 # cat /etc/docker/daemon.json ......
集群 容器 kubernetes 仓库 镜像

Linux部署Redis哨兵集群 一主两从三哨兵

目录一、哨兵集群架构介绍二、下载安装Redis2.1、选择需要安装的Redis版本2.2、下载并解压Redis2.3、编译安装Redis三、搭建Redis一主两从集群3.1、准备配置文件3.1.1、准备主节点6379配置文件3.1.2、准备从节点6380配置文件3.1.3、准备从节点6381配置文件 ......
哨兵 集群 Linux Redis

C++聊天集群服务器3

​ 这部分的主要业务逻辑是网络层获取到json文件解析后,调用注册好的登录事件回调函数login,然后获取id和密码,通过查询是否在数据库里判断下一步业务,然后更新其在数据库里的在线在线状态,处理错误。因此,需要在对user表操作的类添加查询以及更新函数。 一、用户登录代码 ​ 将chatservi ......
集群 服务器

Hadoop MapReduce 历史服务器配置

1.在mapred-site.xml中配置历史服务器 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <!-- 设置MapReduce程序默认运行模式: ......
MapReduce 服务器 Hadoop 历史

Hadoop 常用命令

1.文件类 1.新建文件夹 hadoop fs -mkdir {folderName} hadoop fs -mkdir /coreqi 2.上传文件 hadoop fs -put {localPath} {hadoopPath} hadoop fs -put /home/coreqi.txt /c ......
命令 常用 Hadoop

关于es中集群,节点,分片和副本的理解

集群 页面中每一个对象就是一个集群 节点 集群中包含许多es实例,其中一个es实例就是一个节点 节点也分许多功能 分片和副本 该例子中分片数为9,副本数为1 数据节点就是Node 注意:a和b是同样的数据,a为主分片,b为副本分片,但是同样的数据不能放在相同的节点上面,为了防止某个节点瘫痪导致主节点 ......
副本 节点 集群

更新 Kubernetes 集群中 Argo CD 的服务类型为 NodePort失败

这个问题是我再做项目的时候要开区argoCD时并链接时端口开区不了 kubectl patch svc argocd-server -n argocd -p '{"spec": {"type": "NodePort"}}' service/argocd-server patched (no chan ......
集群 Kubernetes NodePort 类型 Argo

Nacos安装部署(单机、集群)

一、前言 (一)、nacos支持三种部署 单机模式 - 用于测试和单机试用。 集群模式 - 用于生产环境,确保高可用。 多集群模式 - 用于多数据中心场景。 (二)、官网地址 https://nacos.io/zh-cn/ 1.点击进入nacos版本及源码下载网页 2.根据圈中进行nacos版本选择 ......
集群 单机 Nacos

手动部署Kraft模式Kafka集群

手动部署Kraft模式kafka集群 基本信息 IP地址 Hostname Release Kafka-Version 172.29.145.157 iamdemo1 Centos7.9 kafka_2.12-3.5.1 172.29.145.182 iamdemo2 Centos7.9 kafka ......
集群 手动 模式 Kraft Kafka

Hadoop-3.3.6分布式集群搭建步骤

1.下载JDK8 Linux 安装Openjdk 2.下载Hadoop3.3.6 Hadoop 安装及环境变量配置 3.创建hadoop数据存储的目录 mkdir -p /opt/hadoop/tmp /opt/hadoop/hdfs/data /opt/hadoop/hdfs/name 4.配置h ......
分布式 集群 步骤 Hadoop

C++聊天集群服务器2

​ 总体项目结构如下: 一、数据库的封装 ​ db.h如图代码量不多 ​ db.cpp: #include "db.h" #include <muduo/base/Logging.h> // 数据库配置信息 static string server = "127.0.0.1"; static str ......
集群 服务器

Hadoop运行模式之本地模式(wordcount)

本地模式总结起来大概有以下几点: 单机运行,常用来演示,生产环境不适用 文件存储在操作系统的文件系统中而非Hadoop的HDFS中 1.安装JDK https://www.cnblogs.com/fanqisoft/p/16949738.html 2.安装Hadoop https://www.cnb ......
模式 wordcount Hadoop

Hadoop 环境变量配置

1.下载 https://hadoop.apache.org/releases.html 2.环境变量配置 在/etc/profile.d中配置 1.新建hadoop.sh vi /etc/profile.d/hadoop.sh export HADOOP_HOME=/usr/hadoop/hado ......
变量 环境 Hadoop

C++聊天集群服务器1

​ 先给出整个项目的结构图: ​ 一、环境搭建 ​ 施磊的c++聊天项目。相信已经到了这部分内容就已经能够自行搭建环境了,这里主要给出搭建的具体内容,方法自行百度。下面给出环境要求。 ​ 1.json-cpp ​ 2.muduo库 ​ 3.cmake ​ 4.mysql 二、CMake编写 ​ 主目 ......
集群 服务器

minio集群部署

minio集群部署 1.说明: 安装前需要再添加一个磁盘后将磁盘挂载到/opt/minio目录,minio集群部署需要独占磁盘分区,不能使用文件夹代替。 运行分布式 MinIO 实例的服务器时间差不应超过15分钟 所有运行分布式 MinIO 设置的节点都是同构的,即相同的操作系统、相同数量的磁盘和相 ......
集群 minio

11、Redis集群(cluster)【面试重点】

*提示 目前一般比较少用复制+哨兵模式,一般都是直接上集群 一、是什么 二、能干嘛 三、集群算法-分片-槽位slot【高频考点】 1、官网出处 2、redis集群的槽位slot 3、redis集群的分片 4、他两的优势 5、slot槽位映射,一般业界有3中解决方案 5.1 哈希取余分区 5.2 一致 ......
集群 重点 cluster Redis

一、Hadoop概述与初步学习

一、Hadoop的发展史 Google 爬取全球的网站,然后计算页面的PageRank 要解决网站的问题: a:这些网站怎么存放 b:这些网站应该怎么计算 发布了三篇论文 a:GFS(Google File System) b:MapReduce(数据计算方法) c:BigTable-->HBase ......
Hadoop

安装k8s集群的小问题

网络问题:直接安装calico插件,没有配置网络会导致每个节点的路由无法转发,pod之间跨节点无法通信 解决办法:使用calico+flannel作为cni普罗米修斯部署时,网络策略会导致只能特定pod才能通信(nodeport部署服务失效) 解决办法:删除网络策略的部署 ......
集群 问题 k8s k8 8s

Kubernetes进阶之使用二进制包部署集群

前言 之前关于Kubernetes有写过文档 参考:Kubernetes入门进阶课程 https://www.cnblogs.com/minseo/category/1654539.html 本文针对操作系统以及软件的新版本补充使用二进制包部署集群 之前版本部署参考:https://www.cnbl ......
二进制 集群 Kubernetes

线上ES集群参数配置引起的业务异常案例分析

作者:vivo 互联网数据库团队- Liu Huang 本文介绍了一次排查Elasticsearch node_concurrent_recoveries 引发的性能问题的过程。 一、故障描述 1.1 故障现象 1. 业务反馈 业务部分读请求抛出请求超时的错误。 2. 故障定位信息获取 故障开始时间 ......
集群 案例分析 参数 案例 业务

Windows下RabbitMQ 集群及应用测试

转自:https://blog.csdn.net/elie_yang/article/details/86657851 1:安装erlang环境; 2:安装RabbitMQ, 以上2步都是下载安装,下一步结束;参考官网:http://www.rabbitmq.com/install-windows. ......
集群 RabbitMQ Windows

haproxy+nginx实现web负载均衡集群:

haproxy+nginx实现web负载均衡集群: 主机 | 系统 |IP地址|主要软件|—|— |—| — |—Haproxy服务器 |CentOS7.9 X86_64 |192.168.8.202| haproxy-1.5.19.tar.gzNginx服务器1 |CentOS7.9 X86_64 ......
集群 haproxy nginx web

Docker Swarm动态扩容MINIO集群

需求背景 当一个minio集群的磁盘不够用的时候,可以有两种方式,第一个通过扩磁盘,第二种增加机器。但是不管是哪种方式,都不能去动原来集群的启动方式,那样集群就起不来了,会一直提示类似下面这种报错,ERROR Unable to initialize backend: /data1 drive is ......
集群 动态 Docker Swarm MINIO

k8s 高可用集群3:VIP:HAProxy、keepalived

为何要使用负载均衡器VIP(HAProxy、keepalived)​ k8s Master 初始化配置时,使用负载均衡器,可以将 apiserver 的请求转发到不同的机器上,避免一台服务器宕机,造成所有节点不可使用。 如果不使用负载均衡器,先创建一个 k8s Master,然后再加入其他的 k8s ......
集群 keepalived HAProxy k8s VIP

k8s集群二进制安装部署

1、前期规划 主机规划 IP地址 主机名 主机角色 软件列表 192.168.16.129 k8s-master01 master kube-apiserver、kube-controller-manager、kube-scheduler、etcd、kubelet、haproxy、keepalive ......
二进制 集群 k8s k8 8s

如何快速实现Prometheus监控Kubernetes集群

Prometheus K8S集群中常见的监控工具有哪些: Kubernetes Dashboard Kube-monkey K8s-testsuite Kubespray Minikube Prometheus K8S集群监控-外部 | apiserver 访问 | | | 集群外部访问: 通过pu ......
集群 Prometheus Kubernetes

docker+docker-compose部署rocketmq集群遇到的大坑

搭建时间为2023-11-22 环境:CentOS7、Docker24.0.6、Docker-Compose2.23.0、RocketMQ镜像为apache/rocketmq:5.1.2 部署说明:两台Linux服务器,先是尝试了传统2主2从,没有实现主备自动切换,一步一步部署下来没有特别大的问题。 ......
docker 大坑 集群 docker-compose rocketmq