集群hadoop hive
Kubernetes管理应用程序、服务常用命令、集群监视
1、如何使用Kubernetes管理应用程序 1.1 查看集群信息： kubectl cluster-info: 显示集群信息。 kubectl config view: 显示当前kubectl配置信息。 1.2 查看资源状态： kubectl get pods: 查看所有Pod的状态。 kubec ......
什么是集群,什么是负载均衡
tags: 集群 负载均衡 author: zhanglei data: 2023-11-29 什么是集群？什么又是负载均衡？你说得清楚吗？ - 知乎 (zhihu.com) ......
hadoop启动时报错process information unavailable
启动hadoop，jps查看报错 [root@slave1 home]# jps 7798 -- process information unavailable 7081 -- process information unavailable 查看进程是否存在 [root@slave1 home]# ......
Hadoop的“前世今生”
Hello，小伙伴们，作为大数据的第一篇博文，肯定要先介绍一下大数据中的“大哥大”Hadoop了，别急，咱们慢慢介绍。 一：Hadoop名称由来 与很多其他的开源框架不同，Hadoop的名字并不是一个缩写，而是一个生造出来的词。据说是Hadoop之父Doug Cutting用儿子毛绒玩具大象的名字命 ......
Hadoop Yarn Tool接口接入
项目搭建参考 Java实现对Hadoop HDFS的API操作 1.驱动类 package cn.coreqi.mapreduce.tool; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.util.Too ......
k8s集群安装
在三台机器上都执行如下命令操作： 1、关闭防火墙 systemctl stop firewalld systemctl disable firewalld 2、关闭 selinux sed -i 's/enforceing/disabled/' /etc/selinux/config # 永久关闭 ......
Hadoop Yarn 调度器多队列
1.容量调度器多队列 1.为何需要多队列 调度器默认就1个default队列，不能满足生产的要求。 1个队列在任务极限的情况下，容易资源耗尽。 特殊时期通过对任务的区分可以保证重要的任务队列资源充足 按照框架区分队列，如hive/spark/flink 每个框架的任务放入指定的队列(企业用的不是特别 ......
Hadoop YARN生产环境核心配置参数
1.ResourceManager相关 配置参数 说明 默认值 备注 yarn.resourcemanager.scheduler.class 配置调度器,默认为容量调度器(Apache) org.apache.hadoop.yarn.server.resourcemanager.scheduler ......
helm部署Kafka集群
1.准备文件 1.1.创建命令空间 kubectl create ns kafka 1.1.helm包拉取本地 # 添加bitnami仓库 helm repo add bitnami https://charts.bitnami.com/bitnami # 查询chart helm search r ......
kubeadm使用docker搭建k8s 1.27.2高可用集群
系统基础优化 #系统版本：Ubuntu22.04 #docker版本：20.10 #kubeadm版本：1.27.2 root@k8s-master1:~# cat /etc/sysctl.conf ################################################## ......
C++聊天集群服务器7
一、引入redis队列 在上一篇博客里我们已经为服务器配置了基于nginx的tcp负载均衡，提高了服务器的并发量，但是相应的之前也会存在一个问题，那就是多个客户端可能连接在不同的服务器，那这几个客户端如何通信呢？这就需要引入这次的内容：redis中间件，我们通过redis来作为一个中间消息转发者 ......
SQL Server 2019 非域&非集群环境创建Always On “只读扩展”
SQLServer 2019开始支持“read-scale for an Always On availability group”，中文翻译的很别扭，是"读取缩放"，繁体版翻译为“读取级别”，其特点不依赖于windows的cluster集群以及域，简化了搭建操作步骤和前置条件，与传统的availa ......
Hadoop YARN
1.Yarn资源调度器 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 1.Yarn基础架构 Yarn主要由ResourceManager、NodeManager、Applicatio ......
Storm 集群的搭建及其Java编程进行简单统计计算
一、Storm集群构建 编写storm 与 zookeeper的yml文件 storm yml文件的编写 具体如下： version: '2' services: zookeeper1: image: registry.aliyuncs.com/denverdino/zookeeper:3.4.8 ......
MongoDB中的分布式集群架构
MongoDB 中的分布式集群架构 前言 Replica Set 副本集模式 副本集写和读的特性 Sharding 分片模式 分片的优势 MongoDB 分片的组件 分片键 chunk 是什么 分片的算法 哈希分片 范围分片 总结 参考 MongoDB 中的分布式集群架构 前言 前面我们了解了 Mo ......
Hadoop 数据压缩
1.概述 1.好处 & 坏处 优点：减少磁盘IO、减少磁盘存储空间 缺点：增加CPU开销 2.压缩的原则 运算密集型的Job，少用压缩 IO密集型的Job，多用压缩 2.MR 支持的压缩编码 1.压缩算法对比介绍 压缩格式 Hadoop自带? 算法 文件扩展名 是否可切片 换成压缩格式后,原来的程序 ......
Redis集群
集群 由于数据量过大，单个Master复制集难以承担，因此需要对多个复制集进行集群，形成水平扩展每个复制集只负责存储整个数据集 的一部分，这就是Redis的集群，其作用是提供在多个Redis节点间共享数据的程序集。 Redis集群是一个提供在多个Redis节点间共享数据的数据集 Redis集群可以支 ......
Hadoop快速入门
Hadoop快速入门 一、大数据思维 分而治之 所谓“分而治之”，就是把一个复杂的算法问题按一定的“分解”方法分为等价的规模较小的若干部分，然后逐个分别找出各部分的解，再把各部分的解组成整个问题的解。 传统的计算都是基于内存去完成的，但是内存是有限的，数据量太大，导致无法在较短时间内迅速解决，也就是 ......
Redis集群
1.描述 集群，即是Redis Cluster。其由多个redis节点组成，redis数据保存在这些节点中。这些节点分为主节点和从节点：只有主节点负责读写请求和集群信息的维护，从节点只负责主节点数据和状态的复制。 2.作用 数据分区：redis集群是将数据分散存到多个节点中的。具体存到哪个节点是根绝 ......
LVS负载均衡集群
LVS Cluster，集群，群集 有多台主机构成，对外只表现为一个整体，只提供一个访问入口（域名或IP地址），相当于一台大型计算机 特点：由堕胎主机构成，都干同一件事，对外展现为一个整体 集群分类 根据集群针对的目标差异，可分为三种类型 负载均衡集群 (LB) 提高系统响应效率，处理更多的访问请求 ......
docker部署redis主从集群
1、创建数据目录（logs目录要给权限，要不然会报错） mkdir -pv /data/redis/(data,logs} chmod 777 /data/redis/logs 2、redis.conf 配置文件 -—-主从配置 master 节点配置 cd /data/redis vim redi ......
prometheus监控k8s集群信息（通过kubelet）
prometheus监控k8s集群信息（通过kubelet） 一、创建prometheus访问k8s权限账户（在k8s集群中操作）。 1、在k8s集群中创建服务账户 vim prometheus-sa.yaml apiVersion: v1 kind: ServiceAccount metadata ......
hive Metastore 启动报错 Version information not found in metastore报错处理
修改 conf/hive-site.xml中的 hive.metastore.schema.verification 设置为false。 hive Metastore 启动报错 [main]: Metastore Thrift Server threw an exception... org.apa ......
RocketMQ集群监控平台 rocketmq-console【转】
Run with docker Pull from docker hub(rocketmq-dashboard) docker pull apacherocketmq/rocketmq-dashboard:latest Run it (use your own rocketmq.namesrv.ad ......
创建一个Redis集群的启动命令并启动
第一步：进入到存放集群的目录里 cd /opt/cluster 如下图[红线圈中的目录]： 第二步：在此目录创建sh文件[示例为start.sh]，并打开编辑 vim start.sh 第三步： 在文件中，写入要执行的所有Redis端口命令 `redis-server /opt/cluster/60 ......
超算集群提交CFDEM作业（Slurm作业脚本）
CFDEM Coupling 官方Tutorial中包含了快捷运行算例的脚本，因此提交超算只需将Slurm（PBS）作业脚本中加入执行CFDEM命令即可。 此处利用了Tutorial中parCFDDEMrun.sh脚本。 完整的CFDEM算例目录中应包含CFD/、DEM/、SlurmRun.sh、p ......
关于再次出现 Could not open client transport with JDBC Uri: jdbc:hive2://node1:10000: java.net.ConnectException: 拒绝连接 (Connection refused) (state=08S01,code=0)
写在最前边——我报错是因为空间不足 当我时隔两个月再次看到这个报错的时候我是感到绝望的—— ——然而当我查了一遍百度发现唯一一个拥有相同报错解决方法的博客出自我之手的时候我的崩溃的—— ——在我发现曾经的方法无法解决现在的我的报错的时候，我觉得我的心都碎了QAQ 在经历了三天无果的尝试之后，我决定试 ......
安装NETDATA集群监控面板
安装NETDATA集群监控面板 介绍 官方链接 演示网页：https://my-netdata.io/ 官方首页：http://netdata.cloud/ 文档地址：http://docs.netdata.cloud github地址：https://github.com/netdata/netd ......
Hadoop MapReduce框架原理
1.InputFormat数据输入 1.数据切片与MapTask并行度决定机制 一个Job的Map阶段并行度由客户端在提交Job时的切片数决定 每一个Split切片分配一个MapTask并行实例处理 默认情况下，切片大小 = BlockSize 切片时不考虑数据集整体，而是逐个针对每一个文件单独切片 ......
Hadoop 数据类型及序列化
1.Hadoop数据类型 Java类型 Hadoop Writable类型 Boolean BooleanWritable Writable Writable Writable Writable Writable Writable Writable Writable Writable 2.为何Had ......