hive-dml hive dml dql

# 问题描述 上次还是初始化很快，这次直接出错，我觉得可能是已经初始化一次的原因；  # 问题解决 进入到mysql ......

## 什么是Hive SQL执行计划 Hive SQL执行计划描绘了SQL实际执行的整体轮廓，即**SQL转化为对应计算引擎的执行逻辑**；毫无疑问，这一块对于Hive SQL的优化是非常重要的。 Hive SQL早期是基于规则的方式生成执行计划，在Hive 0.14及之后，集成了Apache Ca ......

数据库（命令行操作DDL） （1）创建数据库 -- 1、创建数据库 CREATE DATABASE IF NOT EXISTS change818; -- 建立change818数据库（IF NOT EXISTS可以不写，但是数据库名不能重复） -- 2、创建数据库并指定字符集 CREATE DAT ......

# 1、建库建表与加载数据  上传到HDFS，即加载数据，可以使用命令行进行上传，还可以直接在网页里面进行上传； 在D ......

# 1、服务启动  ![](https://img2023.cnblogs.com/blog/2808014/20 ......

我们在explan sql 时候发现 width 是负数，事实上原因 width是通过data Size / rowNum计算出来的，这两个参数都是在执行计划中根据每个operator通过stats计算出来的。对于select query来说，data size是根据column stats、尤其是 ......

题目描述 从商品价格变更明细表（sku_price_modify_detail），得到最近一次价格的涨幅情况，并按照涨幅升序排序。 结果如下： sku_id<string>（商品id）price_change<decimal(16,2)>（涨幅） 8 -200.00 9 -100.00 2 -70. ......

博客题目：学习总结五：Hive进阶与复杂查询实践内容概要：学习Hive进阶的使用方法，包括复杂查询、数据转换和性能优化等方面的知识。学习资源：推荐的Hive进阶教程、实践案例和性能优化技巧。实践内容：通过编写复杂的Hive查询语句，探索Hive的高级功能和性能优化方法，并分享实践中的挑战和解决方案。 ......

# MySQL-基础篇 ( SQL-DML + DQL + DCL ) [TOC] ## SQL ### DML - 数据操作语言，用来对数据库表中的数据进行增删改 #### 添加数据 INSERT - 给指定字段添加数据 `INSERT INTO 表名(字段名1, 字段名2, ...) VALUE ......

# 1、配置元数据到MYSQL #### 1、新建Hive元数据库 登录Mysql： ``` mysql -uroot -p //不加分号 ``` ![](https://img2023.cnblogs.com/blog/2808014/202308/2808014-2023081715275115 ......

# 1、Hive下载地址http://archive.apache.org/dist/hive/ 我选择的是Hive的这个版本： ![](https://img2023.cnblogs.com/blog/2808014/202308/2808014-20230817095816544-1154047 ......

rank函数：对有序序列编号，当排序字段取值相同时编号相同，且下一条取值不同记录的编号不连续。如序列为：13,13,13,13,13,14,…对应的排序编号为1,1,1,1,1,6,… dense_rank函数：对有序序列编号，当排序字段相同时编号相同，且下一条记录的编号仍连续。如序列为：13,13 ......

# 1、Hive概念  使用Hive处理数据的好处： ![](https://img2023.cnblogs.com/ ......

题目描述 从登录明细表（user_login_detail）中查询在相同时刻，多地登陆（ip_address不同）的用户 题目需求 从登录明细表（user_login_detail）中查询在相同时刻，多地登陆（ip_address不同）的用户 期望结果如下： user_id<string>(用户id ......

某次取数，某表中有奇怪的字段名：pointchange_ygz_[yyyy]，带了个中插号，用简单查询出错 select pointchange_ygz_[yyyy] as p from t 出错信息： Error while compiling statement: FAILED: Semanti ......

Hive SQL 的 ntile 函数用于将分组数据按照顺序切分成n组，并返回当前切片值。如果切片不均匀，默认增加第一个切片的分布。它把有序的数据集合「平均分配」到指定的数量（n）个桶中, 将桶号分配给每一行。如果不能平均分配，则优先分配较小编号的桶，并且各个桶中能放的行数最多相差 1。 语法 Hi ......

[42000][3] Error while processing statement: FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job fai ......

[TOC] ## 1.1 hive出现的原因 FaceBook网站每天产生海量的结构化日志数据，为了对这些数据进行管理，并且因为机器学习的需求，产生了hive这门技术，并继续发展成为一个成功的Apache项目(hive是由Facebook开源用于解决海量结构化日志的数据统计)==》广泛应用原因： + ......

# 问题排查Hive本地计算模式失败 ==查看hive.log后发现是**java space heap**，也就是java内存溢出。== ### 解决方案： 1. 配置yarn集群的资源分配。 - 由于是本地计算，因此container一定是申请在本地的，限制AM申请container容器资源的大 ......

# 问题排查Hive本地计算模式失败 ==查看hive.log后发现是**java space heap**，也就是java内存溢出。== ### 解决方案： 1. 配置yarn集群的资源分配。 - 由于是本地计算，因此container一定是申请在本地的，限制AM申请container容器资源的大 ......

title: 【HIVE系列】01-HIVE 常用操作 date: 2018-11-13 20:20:31 update: 2018-11-15 17:10:43 categories: - 大数据技术 - hive tags: [hive] >> 参考资料： https://blog.csdn.n ......

今天我发现我的DBeaver执行完sql后，表的注释乱码，深究下来是要去设置hive的编码，要不注释是乱码。 教程：hive设置中文编码格式utf-8_hive建表指定字符集_2021xyz666的博客-CSDN博客 ......

本文会通过四个方面介绍Hive性能调优，主要包括： √性能调优工具 √设计优化策略 √数据存储优化 √作业优化技巧 ## 1.合并中间表 一个日志文件中，每一行记录，会有很多很多字段，四五十个字段很正常。实际分析中，常常使用少数几个字段将原始的表中数据，依据业务需求提取出要分析的字段，数据放入到对应 ......

Hive的函数分为两大类：内置函数（Built-in Functions）、用户定义函数UDF（User-Defined Functions）： ......

博客题目：学习总结五：Hive进阶与复杂查询实践内容概要：学习Hive进阶的使用方法，包括复杂查询、数据转换和性能优化等方面的知识。学习资源：推荐的Hive进阶教程、实践案例和性能优化技巧。实践内容：通过编写复杂的Hive查询语句，探索Hive的高级功能和性能优化方法，并分享实践中的挑战和解决方案。 ......

Apache Hive其2大主要组件就是：SQL解析器以及元数据存储， 如下图。 元数据存储 通常是存储在关系数据库如 mysql/derby中。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。 -- Hive提供了 Metastore 服务进 ......

......

大数据在进行ETL过程中，为了避免因为源、目标表字段因为数据类型不一致造成抽数失败，所以在目标表一般都会将字段设置成string类型，后续数据同步过来后再进行类型转换。 以ARRAY类型字段举例： 通过正则将字符串左右两边的中括号[]进行去除 explode(split(REGEXP_REPLACE ......

......

order by order by会对输入做全局排序，因此只有一个Reducer(多个Reducer无法保证全局有序)，然而只有一个Reducer，会导致当输入规模较大时，消耗较长的计算时间，在生产环境中遇到数据量较大的情况，一般无法成功。 sort by sort by不是全局排序，其在数据进入r ......