hadoop hbase hive
史上最全HBase面试题，高薪必备，架构必备
文章很长，且持续更新，建议收藏起来，慢慢读！[**疯狂创客圈总目录 博客园版**](https://www.cnblogs.com/crazymakercircle/p/9904544.html) 为您奉上珍贵的学习资源 ： 免费赠送 :[**《尼恩Java面试宝典》**](https://www. ......
MYSQL与Hive配置的相关步骤
# 1、配置元数据到MYSQL #### 1、新建Hive元数据库 登录Mysql： ``` mysql -uroot -p //不加分号 ``` ![](https://img2023.cnblogs.com/blog/2808014/202308/2808014-2023081715275115 ......
Apache hive安装配置的相关步骤
# 1、Hive下载地址http://archive.apache.org/dist/hive/ 我选择的是Hive的这个版本： ![](https://img2023.cnblogs.com/blog/2808014/202308/2808014-20230817095816544-1154047 ......
hive排序函数 rank、dense_rank、row_number
rank函数：对有序序列编号，当排序字段取值相同时编号相同，且下一条取值不同记录的编号不连续。如序列为：13,13,13,13,13,14,…对应的排序编号为1,1,1,1,1,6,… dense_rank函数：对有序序列编号，当排序字段相同时编号相同，且下一条记录的编号仍连续。如序列为：13,13 ......
hadoop 问题集
1.Hadoop "Cannot create directory .Name node is in safe mode."解决方案 hadoop dfsadmin -safemode leave 2.本地eclipse连接外网Hadoop 通过查询发现，外网中的hadoop如果想要被外网访问，需要 ......
Apache Hive相关基础学习
# 1、Hive概念  使用Hive处理数据的好处： ==》广泛应用原因： + ......
问题排查Hive本地计算模式失败
# 问题排查Hive本地计算模式失败 ==查看hive.log后发现是**java space heap**，也就是java内存溢出。== ### 解决方案： 1. 配置yarn集群的资源分配。 - 由于是本地计算，因此container一定是申请在本地的，限制AM申请container容器资源的大 ......
问题排查Hive本地计算模式失败
# 问题排查Hive本地计算模式失败 ==查看hive.log后发现是**java space heap**，也就是java内存溢出。== ### 解决方案： 1. 配置yarn集群的资源分配。 - 由于是本地计算，因此container一定是申请在本地的，限制AM申请container容器资源的大 ......
【HIVE系列】01-HIVE 常用操作
title: 【HIVE系列】01-HIVE 常用操作 date: 2018-11-13 20:20:31 update: 2018-11-15 17:10:43 categories: - 大数据技术 - hive tags: [hive] >> 参考资料： https://blog.csdn.n ......
关于hive的字段注释乱码解决
今天我发现我的DBeaver执行完sql后，表的注释乱码，深究下来是要去设置hive的编码，要不注释是乱码。 教程：hive设置中文编码格式utf-8_hive建表指定字符集_2021xyz666的博客-CSDN博客 ......
hive如何提高查询性能
本文会通过四个方面介绍Hive性能调优，主要包括： √性能调优工具 √设计优化策略 √数据存储优化 √作业优化技巧 ## 1.合并中间表 一个日志文件中，每一行记录，会有很多很多字段，四五十个字段很正常。实际分析中，常常使用少数几个字段将原始的表中数据，依据业务需求提取出要分析的字段，数据放入到对应 ......
hadoop 简介
[TOC] ## hadoop 的三大组件和关系 ### 1. HDFS：分布式文件系统 > #### hdfs 的特点和不适用使用场景 >> 1.1 HDFS文件系统可存储超大文件（不适用有大量小文件场景和小量场景，默认块大小是MB,资源浪费） >> 1.2 一次写入，多次读取（不适用多用户更新， ......
8.7-8.13学习总结博客五：Hive进阶与复杂查询
博客题目：学习总结五：Hive进阶与复杂查询实践内容概要：学习Hive进阶的使用方法，包括复杂查询、数据转换和性能优化等方面的知识。学习资源：推荐的Hive进阶教程、实践案例和性能优化技巧。实践内容：通过编写复杂的Hive查询语句，探索Hive的高级功能和性能优化方法，并分享实践中的挑战和解决方案。 ......
假期总结之Hive基础架构
Apache Hive其2大主要组件就是：SQL解析器以及元数据存储， 如下图。 元数据存储 通常是存储在关系数据库如 mysql/derby中。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。 -- Hive提供了 Metastore 服务进 ......
Hadoop----hdfs dfs常用命令的使用
-mkdir 创建目录 hdfs dfs -mkdir [-p] < paths> -ls 查看目录下内容，包括文件名，权限，所有者，大小和修改时间 hdfs dfs -ls [-R] < args> -put 将本地文件或目录上传到HDFS中的路径 hdfs dfs -put < localsrc ......
hive处理字符串化数组
大数据在进行ETL过程中，为了避免因为源、目标表字段因为数据类型不一致造成抽数失败，所以在目标表一般都会将字段设置成string类型，后续数据同步过来后再进行类型转换。 以ARRAY类型字段举例： 通过正则将字符串左右两边的中括号[]进行去除 explode(split(REGEXP_REPLACE ......
hive 的order by ,sort by，distribute by，cluster by
order by order by会对输入做全局排序，因此只有一个Reducer(多个Reducer无法保证全局有序)，然而只有一个Reducer，会导致当输入规模较大时，消耗较长的计算时间，在生产环境中遇到数据量较大的情况，一般无法成功。 sort by sort by不是全局排序，其在数据进入r ......
大数据-hive 添加分区
1、静态分区1> 添加一个alter table t2 add partition (city=‘shanghai’);2> 添加多个alter table t2 add partition (city=‘chengdu’) partition(city=‘tianjin’);3> 添加分区指定位置 ......
Hadoop初体验
# 1、HDFS初体验  既能够通过后台的终端命令进行文件的管理，也可以通过Web UI界面进行相关的操作； 可以知 ......