hive-dml hive dml dql
21.DQL 表查询操作 - 聚合函数
目录 聚合函数 聚合查询 聚合函数 COUNT()：统计指定列不为 NULL 的记录行数 MAX()：计算指定列的最大值 MIN()：计算指定列的最小值 SUM()：计算指定列的数值和 AVG()：计算指定列的平均值 聚合查询 语法：SELECT 聚合函数(列名) FROM 表名; -- 查询职级名 ......
20.DQL 表查询操作 - 排序
目录 排序语法 单列排序 组合排序 排序语法 ASC 表示升序排序（默认） DESC 表示降序排序 -- 对查询结果进行排序 SELECT 列名 FROM 表名 [WHERE 条件表达式] ORDER BY 列名1 [ASC / DESC], 列名2 [ASC / DESC] 单列排序 只按照某一个 ......
19.DQL 表查询操作 - 条件查询
目录 条件查询语法 比较运算符 逻辑运算符 通配符 条件查询语法 -- 条件查询 SELECT 列名 FROM 表名 WHERE 条件表达式 比较运算符 运算符说明 > < <= >= = <> != 大于、小于、小于等于、大于等于、等于、不等于 BETWEEN...AND... 范围限定 IN 子 ......
18.DQL 表查询操作 - 简介
目录 数据准备 单表查询 字段查询 起别名 去重 数据准备 测试数据库： https://github.com/datacharmer/test_db 网盘下载： 网盘下载地址 提取码：gxow cd 数据所在目录 mysql -h 127.0.0.1 -uroot -p < employees.s ......
17.DML 表数据操作 - 删除
目录 通过 DELETE 语句删除数据 通过 TRUNCATE TABLE 语句删除数据 实例 通过 DELETE 语句删除数据 数据表名：指定要删除的数据表的表名 WHERE 子句：限定表中要删除的行 -- 删除表中指定行的数据 DELETE FROM 数据表名 WHERE 条件表达式 通过 TR ......
16.DML 表数据操作 - 修改
目录 表数据修改语法 实例 表数据修改语法 SET 子句：必选项，用于指定表中要修改的字段名及其字段值 WHERE 子句：可选项，用于限定表中要修改的行 -- 修改表中数据 UPDATE 数据表名 SET 列名1=值1 [, 列名2=值2...] [WHERE 条件表达式] 实例 -- 选择 db1 ......
15.DML 表数据操作 - 插入
目录 表数据插入语法 完整插入数据 插入数据记录的一部分 插入多条记录 注意事项 表数据插入语法 INTO 数据表名：指定被操作的数据表 (列名1, 列名2…)：可选项，向数据表的指定列插入数据 VALUES(值1, 值2…)：需要插入的数据 -- 插入数据 INSERT INTO 数据表名 (列名 ......
Hive事务表转换为非事务表
环境：hive3.1.0 由于建表时默认会建为非事务表 CREATE TABLE bucket_text_table2(column1 string,column2 string,column3 int) CLUSTERED BY (column3) into 5 BUCKETS STORED AS ......
Hive的存储格式
一、简介 1、hive建表时存储格式 一般情况下hive在创建表时默认的存储格式是textfile，hive常用的存储格式有五种，textfile、sequencefile、rcfile、orc、parquet。 2、五种存储格式的区别 hive五种存储格式的区别 存储格式文件存储编码格式建表指定 ......
使用-数据湖Iceberg和现有hive数仓打通并使用
一、集群配置 1、版本使用 技术 版本 iceberg 1.3.1 flink 1.16.1 spark 3.2.1 hive 2.3.7 dlc-presto 待定 2、集群配置调整 （1）使用hive查询的话所有hiveserver2节点修改hive-site.xml文件，添加jar包，添加如下 ......
Hive基本操作
Hive的基本操作很简单，与SQL的写法很类似，总结如下： 进入Hive环境 $HIVE_HOME/bin/hive 数据库操作 CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LO ......
华为云耀云服务器L实例--Hive的部署
华为云耀云服务器L实例--Hive的部署 产品官网：https://www.huaweicloud.com/product/hecs-light.html 今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例，继续Hive的部署 Hive 是建立在 Ha ......
华为云耀云服务器L实例-大数据学习-Hive的部署-1
华为云耀云服务器L实例-大数据学习-Hive的部署-1 产品官网：https://www.huaweicloud.com/product/hecs-light.html 今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例，介绍Hive的部署 Hive ......
Hive ACID笔记
环境：hive 3.1.0 执行引擎：hive on tez 什么是hive ACID？ hive官网对于ACID的介绍： https://cwiki.apache.org/confluence/display/Hive/Hive+Transactions 中文文档关于ACID的介绍： https: ......
Hive安装部署
引言 Apache Hive 是一款建立在 Hadoop 生态系统之上的数据仓库工具，它提供了一种 SQL 类似的查询语言（HiveQL）来查询和分析存储在 Hadoop 分布式文件系统（HDFS）中的大规模数据。Hive 的设计目标是让用户可以在大规模数据集上执行复杂的查询，而无需深入了解 Map ......
MRS基础组件之HBase与Hive开发应用_tyt2023
MRS基础组件之HBase与Hive开发应用 本实验基于MRS环境，介绍如何利用HBase与Hive来进行相关操作。其中，HBase主要介绍包括如何利用Java API创建数据表、写入数据、查看数据以及删除数据；而Hive则通过介绍UDF、UDTF和UDAF等自定义函数的基本操作，讲解如何进行自定义 ......
web访问hive
配置 <property> <name>hive.server2.thrift.port</name> <value>10000</value> </property> <property> <name>hive.server2.thrift.bind.host</name> <value>slav ......
dremio hive jdbc arp date 类型问题记录
简单记录下碰到的一些问题 分析 arthas stack 查看调用 ffect(class count: 2 , method count: 4) cost in 329 ms, listenerId: 11 ts=2023-12-26 06:18:17;thread_name=e3 - 1a758 ......
Hive的体系架构
Hello，大家好，上一篇博文聊了一下Hive的基本知识，为了让大家更深入地理解Hive，本篇就写一下Hive的体系架构吧。 先看一张图： 大概解释一下： command-line shell & thrift/jdbc 可以用 command-line shell 和 thrift／jdbc 两种 ......
Hive“横空出世”的原因
在沸沸扬扬的大数据江湖里，有这么一个框架，它刚开始很低调，然而，就在那么一个不起眼的一天，突然展示出其绝妙的武功，让大数据各大框架的掌门人暗挑大拇指，好了，不卖关子了，这个“横空出世”的框架就是——Hive。 一：Hive产生的背景 万事有因果，Hive的出现也不是无缘无故的，总体来说，Hive出现 ......
大数据从业者必知必会的Hive SQL调优技巧 | 京东云技术团队
摘要：在大数据领域中，Hive SQL被广泛应用于数据仓库的数据查询和分析。然而，由于数据量庞大和复杂的查询需求，Hive SQL查询的性能往往不尽人意。本文针对Hive SQL的性能优化进行深入研究，提出了一系列可行的调优方案，并给出了相应的优化案例和优化前后的SQL代码。通过合理的优化策略和技巧 ......
Hive 3.1.3 生产安装
1.安装用于存储元数据的关系数据库 生产环境中一般存储元数据采用独立的关系型数据库而非Hive本地的嵌入式数据库 本地的嵌入式数据库无法支持多个请求同时访问。 本示例采用Mysql8.0作为示例 具体的支持列表参考官方文档： https://cwiki.apache.org/confluence/d ......
Hive 3.1.3最小化安装
1.解压 mkdir /usr/hive tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /usr/hive 2.配置Hive环境变量 在/etc/profile.d中配置 1.新建hive.sh vi /etc/profile.d/hive.sh export ......
Spark写hive insertInto和saveAsTable的差别和错误
insertInto必须保证源表字段顺序和hive表字段顺序一致，不然会插入乱序，如果字段数不一致，会报错 saveAsTable append模式下，如果字段数不一致，会报错，overwrite模式下，会重建表 如果是外部表，已经存在了数据，saveAsTable会报错 org.apache.sp ......
ClickHouse(19)ClickHouse集成Hive表引擎详细解析
目录Hive集成表引擎创建表使用示例如何使用HDFS文件系统的本地缓存查询 ORC 输入格式的Hive 表在 Hive 中建表在 ClickHouse 中建表查询 Parquest 输入格式的Hive 表在 Hive 中建表在 ClickHouse 中建表查询文本输入格式的Hive表在Hive 中建 ......
Hive-mapjoin详解（mapjoin原理）
笼统的说，Hive中的Join可分为Common Join（Reduce阶段完成join）和Map Join（Map阶段完成join）。本文简单介绍一下两种join的原理和机制。 一 .Common Join 如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作 ......
Hive和Spark生产集群搭建
1.环境准备 1.1 版本选择 序号 bigdata-001 bigdata-002 bigdata-003 bigdata-004 bigdata-005 MySQL-8.0.31 mysql Datax Datax Datax Datax Datax Datax Spark-3.3.1 Spar ......
MySQL-08.聚合函数和SQL(DQL)的执行流程
C-08 聚合(分组)函数和SQL(DQL)执行流程 上一章，讲到了SQL单行函数。实际上SQL函数还有一类，叫做聚合函数，或者多行，分组函数，它是对一组数据进行汇总的函数，输入的是一组数据的集合，输出的是单个值。 1.聚合函数的介绍 什么是聚合函数 聚合函数作用于一组数据，并对一组数据返回一个值。 ......
hive Metastore 启动报错 Version information not found in metastore报错处理
修改 conf/hive-site.xml中的 hive.metastore.schema.verification 设置为false。 hive Metastore 启动报错 [main]: Metastore Thrift Server threw an exception... org.apa ......