集群hadoop hive
Linux部署redis集群
环境： redis版本：6.2.1 linux服务器：centos7.6 安装 1、redis需要进行C语言编译环境，安装gcc yun install gcc 2、切换到 /usr/local目录下创建redis目录进入redis目录中进行下载redis-6.2.1.tar.gz cd usr/l ......
hive快速入门
hive快速入门 一、简介 hive是facebook，用于解决海量结构化数据的统计分析，现在属于apache软件基金会。hive是一个构建在hadoop之上的数据分析工具，hive没有存储数据的能力只有使用数据的能力，底层是由HDFS来提供数据存储，可以将结构化的数据映射为一张数据表，并且提供类似 ......
Hadoop-3.3.3分布式集群的文件配置，启动hadoop历史服务和启动日志聚集
一、分布式集群的文件配置 涉及$HADOOP_HOME/etc/hadoop路径下的5个文件 workers、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 首先修改workers 进入$HADOOP_HOME/etc/hadoop ......
云计算-hadoop的安装（书接上回+分布式搭建）
书接上回，这次来进行分布式集群的搭建。 执行命令：echo $JAVA_HOME 查看路径，我的路径如图所示： 然后在/usr/local/hadoop目录下，执行命令gedit ./etc/hadoop/hadoop-env.sh 打开文本，然后再第一行添加刚刚的路径，如图所示： 因为之前一节咱们 ......
虚拟机集群ssh配置免密登录
在dn节点机首先安装ssh，没有就执行以下代码 sudo apt-get install openssh-server 然后 cd ~/.ssh 如果没有该路径就执行一次 ssh localhost 然后执行以下代码，删除之前可能生成过的私钥，公钥 rm ./id_rsa* 执行以下代码，然后三次回 ......
hadoop 将nn节点的环境配置同步到dn节点
使用scp命令克隆配置 输入 sudo scp -r jdk1.8.0_391/ hxf@slaver2:/opt/module 报错ssh: Could not resolve hostname hxf: Temporary failure in name resolution lost conn ......
Finalshell给虚拟机安装JDK1.8，hadoop-3.3.3，hive3.1.2并配置环境
点击红框按钮，把下载好的jdk，hadoop，hive安装包上传到指定路径 我的路径是/home/用户名/Downloads 查看上传文件 sudo tar -zxvf /home/hxf/Downloads/jdk-8u391-linux-x64.tar.gz -C /opt/module/ su ......
haproxy+keepalived部署高可用k8s集群
四台机器 节点名称节点ip节点角色 基础配置 1、升级机器内核 2、将机器ip 名称写入到/etc/hosts中 3、基础环境准备 #关闭防火墙，selinux systemctl stop firewalld systemctl disable firewalld sed -i 's/enforc ......
记一次GFS集群节点系统重做数据恢复
背景： 比较倒霉，周日晚上服务器硬盘损坏更换后发现数据块损坏，系统无法正常使用只能重做系统，恢复了好多虚拟机，过程无比痛苦，目前只说一说恢复gfs。 思路： 登录gfs master节点查看peer状态，gluster peer status 发现另一个节点处于State: Peer Rejecte ......
Hadoop3.x和Hive3.x环境搭建
Hadoop3.3.6 创建hadoop用户 useradd hadoop su - hadoop ssh-keygen -t rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys ......
Ubuntu 修改主机名和hosts文件并克隆虚拟机初步搭建集群
进入终端输入 sudo vim /etc/hosts 像红框里一样，添加自己虚拟机的主机名称映射 然后终端输入reboot 重启虚拟机 然后操作参考Ubuntu20虚拟机克隆以及克隆后静态IP和主机名的修改_ubuntu克隆后修改ip-CSDN博客 ......
分布式存储——ceph集群部署
一、部署结构 以x.x.x.150、x.x.x.151、x.x.x.152三台服务器搭建最基本的三节点ceph集群，服务器系统使用的是centos7版本，IP网段为x.x.x.0/24，三台服务器的名称分别为： ceph001: x.x.x.150，管理节点 ceph002: x.x.x.151，子 ......
nebula-br local-store 模式，快速搭建主备集群实践
单集群如何快速切换多集群模式？目前，NebulaGraph 集群复制有 3 种方式，如何在当中选中一种合适你的方式来搭建集群呢？ ......
javaapi、spark、flink 创建Iceberg表，hive 和impala无法正常读取解决
spark、flink 创建Iceberg表中，元数据存储在hive 的meta_store,发现hive 或者impala无法正常读取报错。事实上解决方案是 在spark 、flink 的SQL中执行语句: add iceberg相关引擎的runntime的jar;ALTER TABLE t SE ......
关于pacemaker集群stonith:fence_azure_arm资源-SP-服务主机-密码过期的处理方法
在pacemaker中，一般都会创建一个stonith资源（Shoot The Other Node In The Head），笔者因为是在Azure平台、于是使用的为 stonith:fence_azure_arm 最近发现有一个与之关联的服务主体的密码过期了，导致状态异常，通过pcs statu ......
Hive grouping函数
Grouping函数: 可以接受一列，返回0或1。如果列值为空，则返回1，非空则返回0。它只能在rollup和或cube函数中使用，因为在统计中显示“全部”的那一项统计值时，那一项的标签通常是空的，这时grouping就非常有用，还可以在grouping的基础上进行decode, case等进行美化 ......
904-907 Prometheus自动发现机制 kube-state-metrics和metrics-server Prometheus监控Kubernetes集群 9.4-9.7
一、Prometheus自动发现机制 服务发现机制：为了实现自动将被监控目标添加到Permethus Prometheus数据源的配置分为静态配置和动态发现，常见为以下几类： static_configs：静态服务发现，即将配置直接写到配置文件或Configmap file_sd_config：文件 ......
Oracle集群升级迁移—Oracle数据库升级12C-19C
目录Oracle集群升级迁移—Oracle数据库升级12C-19C现有架构升级方式 Oracle集群升级迁移—Oracle数据库升级12C-19C 现有架构 现在的架构为一主一备，主备分别做了RAC ，数据库软件和grid infrastructure版本为12c 升级方式 升级方式如下图 ......
pyspark数据写入文件及数据库hive
原始数据如下 POD9_6ec8794bd3297048d6ef7b6dff7b8be1|#$2023-10-24|#$0833|#$#|#$#|#$99999999999|#$#|#$12345678912 POD9_352858578708f144bb166a77bad743f4|#$2023- ......
解决集群下mp的雪花id重复问题
雪花算法的核心能影响到id生成的几个因素： 服务器时间 workId（机器 ID 部分） datacenterId（数据标识 ID 部分） 根据源码 public void init(GlobalConfig globalConfig) { // 初始化 Sequence //这里需要同时设置wor ......
Redis集群模式incr保证原子性的原理
1.主要是redis的key会解析到固定的主机上，比如集群上有host1，host2，host3；然后key1可能会解析后发现是要发到host2上，则在host2正常的情况下（有点像kafka rebalance；consumer处理哪些分区），key1会一直在host2上进行操作； 因此在redi ......
hadoop初体验1——官方案例pi值计算
1.执行命令 [hadoop@namenode mapreduce]$ hadoop jar hadoop-mapreduce-examples-3.3.6.jar pi 2 2 hadoop jarHadoop jar命令 hadoop-mapreduce-examples-3.3.6.jar程序 ......
hadoop初体验2——官方案例wordcount
1.命令 [hadoop@namenode mapreduce]$ hadoop jar hadoop-mapreduce-examples-3.3.6.jar wordcount /wordcount/input /wordcount/output 执行命令hadoop jar hadoop-ma ......
DHorse改用fabric8的SDK与k8s集群交互
现状 在dhorse 1.4.0版本之前，一直使用k8s官方提供的sdk与k8s集群交互，官方sdk的Maven坐标如下： <dependency> <groupId>io.kubernetes</groupId> <artifactId>client-java</artifactId> <vers ......
Hive
因为传统数仓的不足，大家希望使用上分布式存储，也就是HDFS。然而使用HDFS后发现，基于数据库的数据仓库用SQL就能做查询，现在换到HDFS上面，只能用Mapreduce任务去做分析。给分析代码极大的不便，因此需要一个框架，使用SQL来做HDFS的查询。Hive正是基于类似SQL的语言完成对hdf ......
使用 Sealos 一键部署 Kubernetes 集群
Sealos 是一款以 Kubernetes 为内核的云操作系统发行版，使用户能够像使用个人电脑一样简单地使用云。 与此同时，Sealos 还提供一套强大的工具，可以便利地管理整个 Kubernetes 集群的生命周期。 Sealos 不仅可以一键安装一个单节点的 Kubernetes 开发环境，还 ......
Hadoop三大组件（HDFS,MapReduce,Yarn）
1、HDFS HDFS是Hadoop分布式文件系统。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件的访问操作；集群中的DataNode管理存储的数据。 2、MapReduce MapReduce是一个软件 ......