emr-hive openldap hive emr
24-Hive优化(下)
# 1. 分组聚合优化 ## 1.1 优化说明 Hive 中未经优化的分组聚合，是通过一个 MapReduce Job 实现的。Map 端负责读取数据，并按照分组字段分区，通过 Shuffle，将数据发往 Reduce 端，各组数据在 Reduce 端完成最终的聚合运算。 Hive 对分组聚合的优化 ......
23-Hive优化(上)
# 1. Hive 表设计优化 ## 1.1 分区表 ### a. 基本查询原理 Hive 的设计思想是通过元数据将 HDFS 上的文件映射成表，基本的查询原理是当用户通过 HQL 语句对 Hive 中的表进行复杂数据处理和计算时，默认将其转换为分布式计算 MapReduce 程序对 HDFS 中的 ......
22-Hive函数应用
# 1. 多字节分隔符 ## 1.1 问题与需求 【**默认规则**】Hive 默认序列化类是 LazySimpleSerDe，其只支持使用单字节分隔符（char）来加载文本数据，例如逗号、制表符、空格等等，默认的分隔符为”\001”。根据不同文件的不同分隔符，我们可以通过在创建表时使用 `row ......
21-Hive运算符&函数
# 1. Hive 内置运算符 整体上，Hive 支持的运算符可以分为三大类：关系运算、算术运算、逻辑运算。 官方参考文档：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 也可以使用下述方式查看运算符的使用方式： ......
20-Hive-DML&DQL
# 1. Load DATA 回想一下，当在 Hive 中创建好表之后，默认就会在 HDFS 上创建一个与之对应的文件夹，默认路径是由参数 hive.metastore.warehouse.dir 控制，默认值是 /user/hive/warehouse。 要想让 Hive 的表和结构化的数据文件产 ......
19-Hive-DDL
数据定义语言（Data Definition Language，DDL）是 SQL 语言集中对数据库内部的对象结构进行创建，删除，修改等的操作语言，这些数据库对象包括 database(schema)、table、view、index 等。核心语法由 CREATE、ALTER 与 DROP 三个所组 ......
18-Hive入门&安装
# 1. Hive 概述 ## 1.1 什么是 Hive？ Apache Hive 是一款**建立在 Hadoop 之上的开源数据仓库工具**，可以将存储在 Hadoop 文件中的结构化、半结构化数据文件映射为一张数据库表，基于表提供了一种类似 SQL 的查询模型，称为 Hive 查询语言（HQL） ......
在 Amazon EMR 上构建实时数据湖
前言 当公司业务发展遇到瓶颈时，业务分析师以及决策者们总会希望通过交叉分析大量的业务数据和用户行为数据，以解答“为什么利润会下滑？”“为什么库存周转变慢了？”等问题，最终整点“干货”出来从而促进业务发展。 亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。这里有技术文档、开发案例、技术专栏、培 ......
Hive查看所有表/分区更新时间
业务需求: 开始环境可能不太稳定, 需要每天手动检查 Hive 里面的数据是否同步 ```shell ## 步骤 1. 查看分区 show partitions table_name; 2.查看分区更新时间 - 获取hdfs路径 desc formatted table_name; 3. 通过dfs ......
Hive SQL之表与建表
数据类型： 建表 create database itheima; --1.创建一张表 -- 表名 --字段 名称 类型 顺序 --字段之间的分隔符 create table itheima.t_archer( id int, name string , hp_max int, mp_max int ......
使用 Apache DolphinScheduler 进行 EMR 任务调度
 By AWS Team ## 前言 随着企业规模的扩大，业务数据的激增，我们会使用 Hadoop/Sp ......
数据仓库——Hive
数据仓库：是一个用于储存，分析，报告的数据系统 数据仓库的目的是构建面向分析的集成化数据环境，分析结果为企业提供决策支持 数仓专注分析 数据仓库仓库为何而来，解决什么问题的？ 为了分析数据而来，分析结果给企业决策提供支撑。 ......
hadoop hive hbase
公司报表是基于数仓开发的，分层是ods>dwd>dwm>dm，sqoop再同步到传统数据库，帆软展示，或tableau展示，这块涉及的是离线计算。 记录下大数据开发设计的概念： 1、hadoop：分布式计算（MapReduce）+分布式文件系统（HDFS），后者可以独立运行，前者可以选择性使用，也可 ......
HIVE中对于时间变换的处理
### 一、获取月份第一天/最后一天 ``` --需求一：获取月份第一天/最后一天 --方式一：last_day --获取当月第一天 select date_add(last_day(add_months('2020-06-14',-1)),1); --获取当月最后一天 select last_da ......
Hive安装与启动
## 一、mysql安装 在配置Hive之前一般都需要安装和配置MySQL，因为Hive为了能操作HDFS上的数据集，那么他需要知道数据的切分格式，如行列分隔符，存储类型，是否压缩，数据的存储地址等信息。 为了方便以后操作所以他需要将这些信息通过一张表存储起来，然后将这张表（元数据）存储到mysql ......
史上最全Hive面试题，高薪必备，架构必备
文章很长，且持续更新，建议收藏起来，慢慢读！[**疯狂创客圈总目录 博客园版**](https://www.cnblogs.com/crazymakercircle/p/9904544.html) 为您奉上珍贵的学习资源 ： 免费赠送 :[**《尼恩Java面试宝典》**](https://www. ......
OpenLDAP 自助修改密码系统
## 一、创建docker-compose文件 ``` root@xx:~# mkdir self-service-password root@xx:~# cd self-service-password root@xx:~/self-service-password# vim docker-com ......
sql 练习（hive，spqrk）
# 数据准备 ## 表1 课程表（course） | ***\*字段名\**** | ***\*数据类型\**** | | | | | 课程编号（CNO） | string | | 课程名称（CNAME） | string | | 教室编号（TNO） | string | ## 表2 成绩表（sco ......
Sqoop 数据导入hive size大小如何控制？
描述：sqoop 从 hana 导入数据到 hive，数据量1300万，当 设置参数 -m 7 时，产生7个文件，但只有 3 个有数据，且大小不一，600多m，300dm，40m，修改参数为 -m 5，文件变成了5个，但是有数据的还是那三个，奇怪 该如何控制文件大小接近块大小。 修改 -m 1时，倒 ......
Hive分区/分桶
# 分区 hive的分区的是针对于数据库的分区,将原来的数据(有规律的数据)分为多个区域,数据和表的信息是不会有变化的,但是会增加namenode的压力 分区的目的是提升查询效率,将原来的文件进行多层次的管理 分区有三种,静态分区,动态分区,混合分区 关键字:**partitioned by(字段) ......
Hive列值转换为列名处理方案
1.背景 最近有个朋友问了一个问题，如何把列值转换为列名进行展示，比如一个表有销售名称，销售日期，销售金额，他想统计这个销售每个月的销售额，然后每个月作为列字段。 2.实施 方法1使用case when: select t1.sale_name ,sum(case when t1.month_id= ......
2023 Hive 面试大纲
#### 先说一些废话 总结一下Hive面试大纲，方便读者快速过一遍Hive面试所需要的知识点 ## Hive的介绍 ### Hive和Hadoop的关系 1. Hive利用hdfs存储数据，利用MapReduce查询数据 2. Hive的数据存储在hdfs上，简单的说Hive就是hdfs的简单一种 ......
基于CDH环境下的Hive数仓配置及优化
# 基于CDH环境下的Hive数仓配置及优化 原文连接地址：https://blog.csdn.net/sinat_31854967/article/details/127274575 ## YARN的基础配置 ### NodeManager CPU配置 - 在YARN界面中，点击配置，然后搜索配置 ......
未安装HBase时Hive on Spark任务卡顿处理如何解决
操作场景 此功能适用于Hive组件。 按如下操作步骤设置参数后，在未安装HBase的环境执行Hive on Spark任务时，可避免任务卡顿。 说明：Hive on Spark任务执行Hive on Spark任务。如果没有安装HBase，默认在执行Spark任务时，会尝试去连接Zookeeper访 ......
Hive SQL 之 date()函数
当使用Hive SQL中的 date 函数时，你可以从时间戳中提取日期部分，或将日期的字符串表示转换为日期数据类型。 date 函数的语法如下： ``` date(date_string) ``` 这里， date_string 是表示日期或时间戳的输入字符串。 date 函数将输入的日期部分作为日 ......
HIVE sql 初识笔记
一、sql 1. 向hive里的某张表添加数据load data local inpath '/home/ocdp/hfb/sex.txt' OVERWRITE into table TD_NP_ENUM_COC_BATCH1_DAY_COLUMN_013; 2. 查询 select * from ......