Hive理论知识

1、什么是Hive？

Hive是基于Hadoop的一个数据仓库工具，它提供了类似SQL的查询语言来进行大规模的数据分析和处理。Hive将结构化的数据映射到Hadoop分布式文件系统（HDFS）上，并通过MapReduce任务执行查询操作。

2、数据模型有哪些？

星形模式(Star Schema)：星型模式是以事实表为中心，所有的维度表直接连接在事实表上。

雪花模式(Snowflake Schema)：是对星形模式的扩展。雪花模式的维度表可以拥有其他维度表的，虽然这种模型相比星型更规范一些，但是由于这种模型不太容易理解，维护成本比较高，而且性能方面需要关联多层维表，性能比星型模型要低。

星座模式：是星型模式延伸而来，星型模式是基于一张事实表的，而星座模式是基于多张事实表的，而且共享维度信息。

备注：前面两种维度建模方法都是多维表对应单事实表，但在很多时候维度空间内的事实表不止一个，而一个维表也可能被多个事实表用到。在业务发展后期，绝大部分维度建模都采用的是星座模式。

3、Hive数据倾斜问题？

（1）空值引发的数据倾斜

第一种：直接不让null值参与join操作，即不让null值有shuffle阶段。

第二种：因为null值参与shuffle时的hash结果是一样的，那么我们可以给null值随机赋值，这样它们的hash结果就不一样，就会进到不同的reduce中。

（2）不同数据类型引发的数据倾斜

如果key字段既有string类型也有int类型，默认的hash就都会按int类型来分配，那我们直接把int类型都转为string就好了，这样key字段都为string，hash时就按照string类型分配了。

（3）不可拆分大文件引发的数据倾斜

这种数据倾斜问题没有什么好的解决方案，只能将使用GZIP压缩等不支持文件分割的文件转为bzip和zip等支持文件分割的压缩方式。
所以，我们在对文件进行压缩时，为避免因不可拆分大文件而引发数据读取的倾斜，在数据压缩的时候可以采用bzip2和Zip等支持文件分割的压缩算法。

（4）数据膨胀引发的数据倾斜

在Hive中可以通过参数 hive.new.job.grouping.set.cardinality 配置的方式自动控制作业的拆解，该参数默认值是30。表示针对grouping sets/rollups/cubes这类多维聚合的操作，如果最后拆解的键组合大于该值，会启用新的任务去处理大于该值之外的组合。如果在处理数据时，某个分组聚合的列有较大的倾斜，可以适当调小该值。

（5）表连接时引发的数据倾斜

通常做法是将倾斜的数据存到分布式缓存中，分发到各个Map任务所在节点。在Map阶段完成join操作，即MapJoin，这避免了 Shuffle，从而避免了数据倾斜。

（6）无法减少数据量引发的数据倾斜

这类问题最直接的方式就是调整reduce所执行的内存大小。调整reduce的内存大小使用mapreduce.reduce.memory.mb这个配置。

4、Hive中 Sort By，Order By，Cluster By，Distrbute By的区别？

Order by：会对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序）。只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。

Sort by：每个mapreduce中进行排序，一般和distribute by使用，且distribute by写在sort by前面。当mapred.reduce.tasks=1时，效果和order by一样。

Distribute by：类似MR的Partition，对key进行分区，结合sort by实现分区排序。

Cluster by：当distribute by和sort by的字段相同时，可以使用cluster by代替，但cluster by只能是升序，不能指定排序规则。

备注：在生产环境中order by使用的少，容易造成内存溢出(OOM)。生产环境中distribute by和sort by用的多。

5、UDF/UDAF/UDTF的区别？

UDF（返回对应值，一对一）：操作作用于单个数据行，并且产生一个数据行作为输出；大多数函数都属于这一类，比如数学函数、字符串函数。

UDAF（返回聚合值，多对一）：接受多个输入数据行，并产生一个输出数据行。像count、max这样的函数就是聚集函数。

UDTF（返回拆分值，一对多）：操作作用域多个数据行，并且产生多个数据行。比如：lateral view explore()。

6、Hive小文件过多怎么解决？