hadoop集群

1.环境准备 1.1 集群规划 序号 bigdata-001 bigdata-002 bigdata-003 bigdata-004 bigdata-005 IP x x x x x x xxx xxx xxx 组件 hadoop1 hadoop2 hadoop3 hadoop4 hadoop5 节 ......

1、列举几个hadoop生态圈的组件并做简要描述？ （1）Zookeeper:是一个开源的分布式应用程序协调服务,基于zookeeper可以实现同步服务，配置维护，命名服务。 （2）Flume:一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 （3）Hbase:是一个分布式的、面向列 ......

客户端如何处理注销登录问题？ 问题描述: ​ 在客户端登录后进行注销选择，然后重新登录刚才注销的账号，直接卡死。注意这是概率发生，因为是主线程和子线程抢服务器发送的信息，只有子线程抢到才会发生卡死 问题产生原因分析： ​ 前置条件：主线程循环等待用户输入选择（第一张图是死循环，send后立马recv ......

一、Redis Cluster 1、Redis集群方案的演变 大规模数据存储系统都会面临的一个问题就是如何横向拓展。 当你的数据集越来越大，一主多从的模式已经无法支撑这么大量的数据存储，于是你首先考虑将多个主从模式结合在一起对外提供服务，但是这里有两个问题就是如何实现数据分片的逻辑和在哪里实现这部分 ......

一、MySQL集群方案 1、常见MySQL集群方案 1.1、Replication 特点： 速度快 弱一致性 适用于低价值数据： 日志 新闻 帖子 1.2、PXC 特点： 速度慢 强一致性 适用于高价值数据： 订单 账户 财务 1.2.1、PXC原理 全称（Percona XtraDB Cluste ......

单机版的 Redis 能够承载并发访问的能力有限，对于绝大多数的系统而言，都是读多写少，系统之所以宕机，一般都是因为并发读操作太高导致的宕机，因此搭建 Redis 主从集群，实现读写分离，是一种有效的提高并发访问能力的方案。 本篇博客介绍在一台虚拟机上，使用 docker-compose 模拟搭建一 ......

prometheus监控k8s集群信息（通过kube-state-metrics） 因为通过k8s集群中kubelet和apiserver自带的一些接口来获取的信息太少，当然如果只需要监控POD的cpu、内存等信息，可能使用kubelet也够了，但是更多的信息还需要其他的工具，这里使用kube-st ......

1、工具简介 1.1、GlusterFS 是一个开源的分布式文件系统 具有强大的横向扩展能力 通过扩展能够支持数PB存储容量和处理数千客户端 将物理分布的存储资源聚集在一起，使用单一全局命名空间来管理数据 1.2、Heketi 是一个基于RESTful API的GlusterFS卷管理框架 可以方便 ......

Linux系统下kafka集群安装部署 Linux系统下kafka集群安装部署 | 系统运维 (osyunwei.com) 2023年05月01日 ⁄ kafka ⁄ 暂无评论 ⁄ 被围观 1,254次+ Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。 操 ......

hbase和flume查看版本时显示如下 [root@slave1 flume-1.9.0]# hbase version 错误: 找不到或无法加载主类 org.apache.hadoop.hbase.util.GetJavaProperty SLF4J: Class path contains m ......

一、集群节点 一个ES集群可以有多个节点构成 一个节点就是一个ES服务实例，通过配置集群名称cluster.name加入集群 那么节点是如何通过配置相同的集群名称加入集群的呢？要搞明白这个问题，我们必须先搞清楚ES集群中节点的角色。 ES中节点有角色的区分的，通过配置文件conf/elasticse ......

一、Redis Cluster 1、Redis集群方案的演变 大规模数据存储系统都会面临的一个问题就是如何横向拓展。 当你的数据集越来越大，一主多从的模式已经无法支撑这么大量的数据存储，于是你首先考虑将多个主从模式结合在一起对外提供服务，但是这里有两个问题就是如何实现数据分片的逻辑和在哪里实现这部分 ......

一、MySQL集群方案 1、常见MySQL集群方案 1.1、Replication 特点： 速度快 弱一致性 适用于低价值数据： 日志 新闻 帖子 1.2、PXC 特点： 速度慢 强一致性 适用于高价值数据： 订单 账户 财务 1.2.1、PXC原理 全称（Percona XtraDB Cluste ......

一、打造基于Prometheus的全方位监控平台 1.1 前言 官网：https://prometheus.io/docs/prometheus/latest/getting_started/ 灵活的时间序列数据库 定制各式各样的监控规则 Prometheus的开发人员和用户社区非常活跃 独立的开源 ......

虚拟及没有启动任何服务器查看jps会显示jps，如果没有显示任何东西 [root@slave2 ~]# jps 9647 Jps 解决方案 # 进入/tmp查看 [root@slave1 dfs]# cd /tmp [root@slave1 tmp]# ll 总用量 48 drwxr-xr-x. 2 ......

1、如何使用Kubernetes管理应用程序 1.1 查看集群信息： kubectl cluster-info: 显示集群信息。 kubectl config view: 显示当前kubectl配置信息。 1.2 查看资源状态： kubectl get pods: 查看所有Pod的状态。 kubec ......

tags: 集群 负载均衡 author: zhanglei data: 2023-11-29 什么是集群？什么又是负载均衡？你说得清楚吗？ - 知乎 (zhihu.com) ......

启动hadoop，jps查看报错 [root@slave1 home]# jps 7798 -- process information unavailable 7081 -- process information unavailable 查看进程是否存在 [root@slave1 home]# ......

Hello，小伙伴们，作为大数据的第一篇博文，肯定要先介绍一下大数据中的“大哥大”Hadoop了，别急，咱们慢慢介绍。 一：Hadoop名称由来 与很多其他的开源框架不同，Hadoop的名字并不是一个缩写，而是一个生造出来的词。据说是Hadoop之父Doug Cutting用儿子毛绒玩具大象的名字命 ......

项目搭建参考 Java实现对Hadoop HDFS的API操作 1.驱动类 package cn.coreqi.mapreduce.tool; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.util.Too ......

在三台机器上都执行如下命令操作： 1、关闭防火墙 systemctl stop firewalld systemctl disable firewalld 2、关闭 selinux sed -i 's/enforceing/disabled/' /etc/selinux/config # 永久关闭 ......

1.容量调度器多队列 1.为何需要多队列 调度器默认就1个default队列，不能满足生产的要求。 1个队列在任务极限的情况下，容易资源耗尽。 特殊时期通过对任务的区分可以保证重要的任务队列资源充足 按照框架区分队列，如hive/spark/flink 每个框架的任务放入指定的队列(企业用的不是特别 ......

1.ResourceManager相关 配置参数 说明 默认值 备注 yarn.resourcemanager.scheduler.class 配置调度器,默认为容量调度器(Apache) org.apache.hadoop.yarn.server.resourcemanager.scheduler ......

1.准备文件 1.1.创建命令空间 kubectl create ns kafka 1.1.helm包拉取本地 # 添加bitnami仓库 helm repo add bitnami https://charts.bitnami.com/bitnami # 查询chart helm search r ......

系统基础优化 #系统版本：Ubuntu22.04 #docker版本：20.10 #kubeadm版本：1.27.2 root@k8s-master1:~# cat /etc/sysctl.conf ################################################## ......

一、引入redis队列 ​ 在上一篇博客里我们已经为服务器配置了基于nginx的tcp负载均衡，提高了服务器的并发量，但是相应的之前也会存在一个问题，那就是多个客户端可能连接在不同的服务器，那这几个客户端如何通信呢？这就需要引入这次的内容：redis中间件，我们通过redis来作为一个中间消息转发者 ......

SQLServer 2019开始支持“read-scale for an Always On availability group”，中文翻译的很别扭，是"读取缩放"，繁体版翻译为“读取级别”，其特点不依赖于windows的cluster集群以及域，简化了搭建操作步骤和前置条件，与传统的availa ......

1.Yarn资源调度器 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 1.Yarn基础架构 Yarn主要由ResourceManager、NodeManager、Applicatio ......

一、Storm集群构建 编写storm 与 zookeeper的yml文件 storm yml文件的编写 具体如下： version: '2' services: zookeeper1: image: registry.aliyuncs.com/denverdino/zookeeper:3.4.8 ......

MongoDB 中的分布式集群架构 前言 Replica Set 副本集模式 副本集写和读的特性 Sharding 分片模式 分片的优势 MongoDB 分片的组件 分片键 chunk 是什么 分片的算法 哈希分片 范围分片 总结 参考 MongoDB 中的分布式集群架构 前言 前面我们了解了 Mo ......