hive-dml hive dml dql
大数据-hive 添加分区
1、静态分区1> 添加一个alter table t2 add partition (city=‘shanghai’);2> 添加多个alter table t2 add partition (city=‘chengdu’) partition(city=‘tianjin’);3> 添加分区指定位置 ......
Hive之分区表
在大数据中，最常用的一种思想就是分治，我们可以把大的文件切割划分成一个个的小的文件，这样每次操作一个小的文件就会很容易了 同样的道理，在hive当中也是支持这种思想的，就是我们可以把大的数据，按照每天，或者每小时进行切分成一个个的小的文件，这样去操作小的文件就会容易得多了。 如图，一个典型的按月份分 ......
【Windows】Windows10系统下Hadoop和Hive环境搭建
环境准备 软件 版本 备注 Windows 10 操作系统 JDK 8 暂时不要选用大于等于JDK9的版本，因为启动虚拟机会发生未知异常 MySQL 8.x 用于管理Hive的元数据 Apache Hadoop 3.3.1 - Apache Hive 3.1.2 - Apache Hive src ......
hive之内部表与外部表
hive之内部表与外部表 内部表&外部表定义：未被external修饰的是内部表（managed table），被external修饰的为外部表（external table）；区别： 内部表数据由Hive自身管理，外部表数据由HDFS管理；内部表数据存储的位置是hive.metastore.war ......
数仓 Hive HA 介绍与实战操作
[TOC] ## 一、概述 在数据仓库中，`Hive HA（High Availability）` 是指为 `Apache Hive` 这个数据仓库查询和分析工具提供高可用性的架构和解决方案。Hive是建立在Hadoop生态系统之上的一种数据仓库解决方案，用于处理大规模数据的查询和分析。为了确保Hi ......
Hive Merge详解
说明Hive在2.2版本之后开始支持Merge操作，并且Merge只能在支持ACID的表上执行 语法MERGE INTO <target table> AS T USING <source expression/table> AS SON <boolean expression1>WHEN MATC ......
Hive执行过程中出现 ArrayIndexOutOfBoundsException: -128
记一次Hive的运行过程中的错误 `Error: java.lang.RuntimeException: Hive Runtime Error while closing operators at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.close( ......
hive建表以\t分割,直接put文件到表目录下进行查询
建表语句 ``` CREATE external TABLE `login_number`( serial_number string) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' WITH SERDEP ......
hive同时使用where,group by,having,order by的执行顺序
###hive中分组排序过滤使用顺序。 ``` where,group by,having,order by同时使用，执行顺序为 （1）where过滤数据 （2）对筛选结果集group by分组 （3）对每个分组进行select查询，提取对应的列，有几组就执行几次 （4）再进行having筛选每组数 ......
RDBMS与Hbase对比 HDFS与HBase对比 Hive与HBase对比
RDBMS: HBASE： HDFS与HBase对比： Hive与HBase对比： Hive与HBase总结 ......
数据库基础—数据查询语言（DQL）
DQL英文全称是Data Query Language(数据查询语言)，数据查询语言，用来查询数据库中表的记录。 一.基础查询 1.查询多个字段 SELECT 字段1, 字段2, 字段3 ... FROM 表名 ; 2.查询所有字段 SELECT * FROM 表名 ; 3.设置别名 SELECT ......
MySQL DML 闪回之 binlog2sql
一直以来，由于 DBA 的误操作或者业务bug，导致误删数据的情况都时有发生。当出现误删数据的情况时，从线上操作日志构造误删除的数据，或者DBA使用binlog和备份的方式恢复数据，不管哪种，都非常费时费力，并且容易 出错。可能有的同学会说从 从库恢复，但实时主从备份只能防止硬件问题，比如主库的硬盘 ......
Hive 内置函数
Hive 常用的内置函数 --查看内置函数 show functions; --查看函数的用法 describe function extended count; String Functions 字符串函数 select length("itcast");--长度 select reverse(" ......
Hive select查询语句
创建表 CREATE TABLE t_usa_covid19( count_date string, county string, state string, fips int, cases int, deaths int) row format delimited fields terminate ......
数据库基础—数据操作语言（DML）
DML英文全称是Data Manipulation Language(数据操作语言)，用来对数据库中表的数据记录进 行增、删、改操作。 一.增加数据 1.给指定字段添加数据 INSERT INTO 表名 (字段名1, 字段名2, ...) VALUES (值1, 值2, ...) 2.给全部字段添加 ......
24-Hive优化(下)
# 1. 分组聚合优化 ## 1.1 优化说明 Hive 中未经优化的分组聚合，是通过一个 MapReduce Job 实现的。Map 端负责读取数据，并按照分组字段分区，通过 Shuffle，将数据发往 Reduce 端，各组数据在 Reduce 端完成最终的聚合运算。 Hive 对分组聚合的优化 ......
23-Hive优化(上)
# 1. Hive 表设计优化 ## 1.1 分区表 ### a. 基本查询原理 Hive 的设计思想是通过元数据将 HDFS 上的文件映射成表，基本的查询原理是当用户通过 HQL 语句对 Hive 中的表进行复杂数据处理和计算时，默认将其转换为分布式计算 MapReduce 程序对 HDFS 中的 ......
22-Hive函数应用
# 1. 多字节分隔符 ## 1.1 问题与需求 【**默认规则**】Hive 默认序列化类是 LazySimpleSerDe，其只支持使用单字节分隔符（char）来加载文本数据，例如逗号、制表符、空格等等，默认的分隔符为”\001”。根据不同文件的不同分隔符，我们可以通过在创建表时使用 `row ......
21-Hive运算符&函数
# 1. Hive 内置运算符 整体上，Hive 支持的运算符可以分为三大类：关系运算、算术运算、逻辑运算。 官方参考文档：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 也可以使用下述方式查看运算符的使用方式： ......
20-Hive-DML&DQL
# 1. Load DATA 回想一下，当在 Hive 中创建好表之后，默认就会在 HDFS 上创建一个与之对应的文件夹，默认路径是由参数 hive.metastore.warehouse.dir 控制，默认值是 /user/hive/warehouse。 要想让 Hive 的表和结构化的数据文件产 ......
19-Hive-DDL
数据定义语言（Data Definition Language，DDL）是 SQL 语言集中对数据库内部的对象结构进行创建，删除，修改等的操作语言，这些数据库对象包括 database(schema)、table、view、index 等。核心语法由 CREATE、ALTER 与 DROP 三个所组 ......
18-Hive入门&安装
# 1. Hive 概述 ## 1.1 什么是 Hive？ Apache Hive 是一款**建立在 Hadoop 之上的开源数据仓库工具**，可以将存储在 Hadoop 文件中的结构化、半结构化数据文件映射为一张数据库表，基于表提供了一种类似 SQL 的查询模型，称为 Hive 查询语言（HQL） ......
MySQL学习-DML（Data Manipulation Language）数据--select语句02
表连接：分为内连接和外连接，常用内连接。当需要同时显示多个表中字段时，就可以用表连接。 内连接：仅选出两张表中互相匹配的记录 外连接：还会选出其他不匹配的记录 外连接包含左连接和右连接 左连接： ......
Hive查看所有表/分区更新时间
业务需求: 开始环境可能不太稳定, 需要每天手动检查 Hive 里面的数据是否同步 ```shell ## 步骤 1. 查看分区 show partitions table_name; 2.查看分区更新时间 - 获取hdfs路径 desc formatted table_name; 3. 通过dfs ......
Hive SQL之表与建表
数据类型： 建表 create database itheima; --1.创建一张表 -- 表名 --字段 名称 类型 顺序 --字段之间的分隔符 create table itheima.t_archer( id int, name string , hp_max int, mp_max int ......