hadoop hbase hive
hadoop的相关启动
# 1、先退回到hadoop主路径（也就是我上一篇中的hadoop-3.0.0） ``` cd ../.. ```  ......
Linux系统下安装Hadoop环境
# 安装Hadoop的话，是在安装好JDK和MYSQL之后的环境下进行的；还没有安装的话，可以跳转到安装jdk环境（https://www.cnblogs.com/liuzijin/p/17591188.html） # 和安装mysql环境（https://www.cnblogs.com/liuzi ......
Hive之分区表
在大数据中，最常用的一种思想就是分治，我们可以把大的文件切割划分成一个个的小的文件，这样每次操作一个小的文件就会很容易了 同样的道理，在hive当中也是支持这种思想的，就是我们可以把大的数据，按照每天，或者每小时进行切分成一个个的小的文件，这样去操作小的文件就会容易得多了。 如图，一个典型的按月份分 ......
Hadoop：哪个数据节点是最近的数据节点来检索数据以及节点如何实现容错性
# Q1 who can decide which Data Node is the closest datanode to retrieve the data? 当客户端要读一个文件的某个数据块时，它就需要向NameNode节点询问这个数据块存储在哪些DataNode节点上，这个过程如下图：![i ......
【Windows】Windows10系统下Hadoop和Hive环境搭建
环境准备 软件 版本 备注 Windows 10 操作系统 JDK 8 暂时不要选用大于等于JDK9的版本，因为启动虚拟机会发生未知异常 MySQL 8.x 用于管理Hive的元数据 Apache Hadoop 3.3.1 - Apache Hive 3.1.2 - Apache Hive src ......
hive之内部表与外部表
hive之内部表与外部表 内部表&外部表定义：未被external修饰的是内部表（managed table），被external修饰的为外部表（external table）；区别： 内部表数据由Hive自身管理，外部表数据由HDFS管理；内部表数据存储的位置是hive.metastore.war ......
数仓 Hive HA 介绍与实战操作
[TOC] ## 一、概述 在数据仓库中，`Hive HA（High Availability）` 是指为 `Apache Hive` 这个数据仓库查询和分析工具提供高可用性的架构和解决方案。Hive是建立在Hadoop生态系统之上的一种数据仓库解决方案，用于处理大规模数据的查询和分析。为了确保Hi ......
Hadoop完全分布式集群安装
# Hadoop完全分布式集群安装 >使用版本: hadoop-3.2.0 ## 安装VMware 看一下这张图，图里面表示是三个节点，左边这一个是主节点，右边的两个是从节点，hadoop集群是支持主从架构的。 不同节点上面启动的进程默认是不一样的。  ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' WITH SERDEP ......
hive同时使用where,group by,having,order by的执行顺序
###hive中分组排序过滤使用顺序。 ``` where,group by,having,order by同时使用，执行顺序为 （1）where过滤数据 （2）对筛选结果集group by分组 （3）对每个分组进行select查询，提取对应的列，有几组就执行几次 （4）再进行having筛选每组数 ......
服务器执行hbase shell报错： ipc.AbstractRpcClient: SASL authentication failed. The most likely cause is missing or invalid credentials. Consider 'kinit'.
2023-08-01 21:02:09,923 FATAL [main] ipc.AbstractRpcClient: SASL authentication failed. The most likely cause is missing or invalid credentials. Consi ......
RDBMS与Hbase对比 HDFS与HBase对比 Hive与HBase对比
RDBMS: HBASE： HDFS与HBase对比： Hive与HBase对比： Hive与HBase总结 ......
HBase-HBase的特征、优缺点、应用场景
一、Hbase的概念 HBase是Hadoop的生态系统，是建立在Hadoop文件系统（HDFS）之上的分布式、面向列的数据库，通过利用Hadoop的文件系统提供容错能力。如果你需要进行实时读写或者随机访问大规模的数据集的时候，请考虑使用HBase！ HBase作为Google Bigtable的开 ......
HBase-compact的作用、两种实现方式及区别
在hbase中每当有memstore数据flush到磁盘之后，就形成一个storefile，当storeFile的数量达到一定程度后，就需要将 storefile 文件来进行 compaction 操作。Compact 的作用：① 合并文件② 清除过期，多余版本的数据③ 提高读写数据的效率HBase ......
Hadoop集群相关理解
# Hadoop集群简介  # Hadoop集群模式安装 # 安装包获得 ## Hadoop安装包、源码包下载地址： ......
Hive 内置函数
Hive 常用的内置函数 --查看内置函数 show functions; --查看函数的用法 describe function extended count; String Functions 字符串函数 select length("itcast");--长度 select reverse(" ......
Hive select查询语句
创建表 CREATE TABLE t_usa_covid19( count_date string, county string, state string, fips int, cases int, deaths int) row format delimited fields terminate ......
24-Hive优化(下)
# 1. 分组聚合优化 ## 1.1 优化说明 Hive 中未经优化的分组聚合，是通过一个 MapReduce Job 实现的。Map 端负责读取数据，并按照分组字段分区，通过 Shuffle，将数据发往 Reduce 端，各组数据在 Reduce 端完成最终的聚合运算。 Hive 对分组聚合的优化 ......
23-Hive优化(上)
# 1. Hive 表设计优化 ## 1.1 分区表 ### a. 基本查询原理 Hive 的设计思想是通过元数据将 HDFS 上的文件映射成表，基本的查询原理是当用户通过 HQL 语句对 Hive 中的表进行复杂数据处理和计算时，默认将其转换为分布式计算 MapReduce 程序对 HDFS 中的 ......
22-Hive函数应用
# 1. 多字节分隔符 ## 1.1 问题与需求 【**默认规则**】Hive 默认序列化类是 LazySimpleSerDe，其只支持使用单字节分隔符（char）来加载文本数据，例如逗号、制表符、空格等等，默认的分隔符为”\001”。根据不同文件的不同分隔符，我们可以通过在创建表时使用 `row ......
21-Hive运算符&函数
# 1. Hive 内置运算符 整体上，Hive 支持的运算符可以分为三大类：关系运算、算术运算、逻辑运算。 官方参考文档：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 也可以使用下述方式查看运算符的使用方式： ......