hive-ddl hive ddl
05-基础SQL-DDL(数据定义语言)-数据库操作
DDL-数据库操作 1.查询 查询所有数据库 SHOW DATABASES; 查询当前数据库 SELECT DATABASE(); 2.创建 创建一个数据库 CREATE DATABASE [IF NOT EXISTS] 数据库名 [DEFAULT CHARSET 字符集] [COLLATE 排序规 ......
SQL DDL语句
Data Defination Language，数据定义语言。这类 SQL 语句用于定义或修改数据库结构。主要的 DDL 操作包括 CREATE（创建新表或数据库）、ALTER（修改现有数据库对象的结构）和 DROP（删除表、视图或其他数据库对象）。 表操作 创建表 CREATE TABLE 创建 ......
Oracle、达梦：获取数据库对象、获取对象的DDL-数据定义语言
一、获取据库对象(Oracle、达梦) ALL_OBJECTS 表 数据库所有对象表：包括表、视图、物化视图、函数……等 -- 查询所有对象 SELECT * from ALL_OBJECTS -- 筛选条件 - OWENR:哪个数据库。- OBJECT_TYPE 类型： SELECT OBJECT ......
crontab任务以user用户执行hive -f命令不生效解决记录
现象：创建了一个shell脚本任务，使用crontab进行任务调度，其中hive执行为： hive -f /opt/test.sql > /opt/test.log 2>&1 任务调度起来后一直报错提示： /usr/bin/hive:行3: /parcels/sbin/configure.sh: 没 ......
Hive_解析 get_json_object
get_json_object ( string json_string, string path ) 说明： 第一个参数填写json对象变量，第二个参数使用$表示json变量标识，然后用 . 或 [] 读取对象或数组。 如果输入的json字符串无效，那么返回NULL。 每次只能返回一个数据项。 举 ......
datax抽取mysql数据到hive报错：javax.net.ssl.SSLException: Connection reset
datax抽取mysql数据报错： [INFO] 2023-11-09 12:35:14.090 +0000 - -> 2023-11-09 20:35:13.492 [0-0-0-reader] ERROR ReaderRunner - Reader runner Received Excepti ......
Java登陆第二天——SQL之DDL
SQL语句 SQL概括起来可以分为以下四组。(都是SQL，因为功能的不同，为了更好学习划分了类别) DDL——数据定义语言。用于定义数据的结构。 指的是增，删，改数据库 DML——数据操作语言。用于检索或修改数据。 指的是增，删，改数据 DQL——数据查询语言。用于查询各种形式的数据。 指的是查询数 ......
hive事务得设置
1. 通过命令行方式开启事务，当前session有效 set hive.support.concurrency = true; set hive.enforce.bucketing = true; set hive.exec.dynamic.partition.mode = nonstrict; s ......
hive3.0新特性
hive3.0新特性： 1、不再支持Mr.取而用Tez查询引警且支持两种查询模式.Container 和 LLAP 2、Hive CLI不再支持(被beeline取代) 3、SQL Standard Authorization 不再支持，且默认建的表就已经是ACID表。 4、支持“批查询”(TEZ) ......
0.Hive+MySQL安装记录
1.确定安装版本 如何通过官网查找hadoop、hbase、hive版本兼容信息 2.安装流程大概 B站视频 3.安装mysql数据库 centos安装mysql8 check： tar命令 配置文件（/etc/下）--/etc/profile mysql环境变量配置 mysql: error wh ......
hive ACID事务得应用场景
Hive的ACID语义可以完成以下使用场景: 1、流数据的接入。许多用户都使用 Apache Flume, Apache Storm, or Apache Kafka 将流式数据导入Hadoop集群。 这些工具都是每秒百万行级的数据写入，而Hive只能每十五分钟到一个小时添加一次分区。快速的增加分区 ......
Hive累积值、平均值、首尾值的计算学习
Hive窗口函数可以计算一定范围内、一定值域内、或者一段时间内的累积和以及移动平均值等；可以结合聚集函数SUM() 、AVG()等使用；可以结合FIRST_VALUE() 和LAST_VALUE()，返回窗口的第一个和最后一个值。 如果只使用partition by子句,未指定order by的话, ......
hive快速入门
hive快速入门 一、简介 hive是facebook，用于解决海量结构化数据的统计分析，现在属于apache软件基金会。hive是一个构建在hadoop之上的数据分析工具，hive没有存储数据的能力只有使用数据的能力，底层是由HDFS来提供数据存储，可以将结构化的数据映射为一张数据表，并且提供类似 ......
Finalshell给虚拟机安装JDK1.8，hadoop-3.3.3，hive3.1.2并配置环境
点击红框按钮，把下载好的jdk，hadoop，hive安装包上传到指定路径 我的路径是/home/用户名/Downloads 查看上传文件 sudo tar -zxvf /home/hxf/Downloads/jdk-8u391-linux-x64.tar.gz -C /opt/module/ su ......
Hadoop3.x和Hive3.x环境搭建
Hadoop3.3.6 创建hadoop用户 useradd hadoop su - hadoop ssh-keygen -t rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys ......
SQL中的DDL（数据定义）语言：掌握数据定义语言的关键技巧！
DDL(Data Definition Language)，是用于描述数据库中要存储的现实世界实体的语言。 前面我们介绍了数据库及SQL语言的相关概念和基础知识，本篇文章我们来重点讲述DDL（数据定义语言的语法格式）的相关内容以及DDL的常用语句。 一、DDL介绍 这里我们先回顾一下前面讲过的SQL ......
javaapi、spark、flink 创建Iceberg表，hive 和impala无法正常读取解决
spark、flink 创建Iceberg表中，元数据存储在hive 的meta_store,发现hive 或者impala无法正常读取报错。事实上解决方案是 在spark 、flink 的SQL中执行语句: add iceberg相关引擎的runntime的jar;ALTER TABLE t SE ......
Hive grouping函数
Grouping函数: 可以接受一列，返回0或1。如果列值为空，则返回1，非空则返回0。它只能在rollup和或cube函数中使用，因为在统计中显示“全部”的那一项统计值时，那一项的标签通常是空的，这时grouping就非常有用，还可以在grouping的基础上进行decode, case等进行美化 ......
pyspark数据写入文件及数据库hive
原始数据如下 POD9_6ec8794bd3297048d6ef7b6dff7b8be1|#$2023-10-24|#$0833|#$#|#$#|#$99999999999|#$#|#$12345678912 POD9_352858578708f144bb166a77bad743f4|#$2023- ......
Hive
因为传统数仓的不足，大家希望使用上分布式存储，也就是HDFS。然而使用HDFS后发现，基于数据库的数据仓库用SQL就能做查询，现在换到HDFS上面，只能用Mapreduce任务去做分析。给分析代码极大的不便，因此需要一个框架，使用SQL来做HDFS的查询。Hive正是基于类似SQL的语言完成对hdf ......
Hive中json格式字段清洗与提取
废话不多说，直接上案例 如下是某json字段的查询结果，可以看出它是一个json数组 select sales_price from order_goods where order_number = 'R1001'; -- 结果： [{"threshold_number":1,"group_id": ......
作业6 数据仓库Hive
请在以下两题中任选一题作答，其中第一题编程实践满分30，第二题应用调查满分20（1）编程实践：参考教程https://dblab.xmu.edu.cn/blog/4309/，编写HiveQL语句实现WordCount算法，在input文件夹中创建两个测试文件file1.txt和file2.txt，然 ......
Hive学习笔记：nvl和coalesce函数的区别
nvl 函数和 coalesce 函数都是用来处理空值的函数，但略有不同。 注意：非 NULL 值为 NULL， 如果是''，' '， 'null'， 'NULL'等视为字符串，返回参数本身。 一、nvl函数 nvl 只能处理2个参数，如果第1个不是 null， 则返回第1个参数，否则返回第2个参数 ......
【1】基于docker搭建hadoop+hive+spark+hbase+zookeeper+scale集群
1、设置主机上的虚拟缓存 当本地内存不足时，可以使用虚拟内存将一些内存数据转移到硬盘上，从而扩展计算机的内存容量。这样可以让计算机运行更复杂、更占用内存的程序，不会出现内存不足的情况。减轻物理存储器不足的压力，设置虚拟内存可以在内存不够的情况下将缓存一时放在硬盘上，解决内存不足问题。 通过虚拟内存， ......
基于docker容器，搭建hadoop+spark+hive+hbase+Zookeeper Scala集群
1.安装Docker和Docker Compose 2.下载镜像 docker pull bde2020/hadoop-base:2.0.0-hadoop3.2.1-java8 docker pull bde2020/hadoop-namenode:2.0.0-hadoop3.2.1-java8 d ......
Hive学习笔记：多列求最大值、最小值
一、最大值 当在 Hive 中需要对多列数据求最大值时，可以使用函数 greatest(a, b, c, d) 实现。 select greatest(a, b, c) from ( select 10 as a, 20 as b, 30 as c ) dd; -- 结果：30 举个具体栗子：计算用 ......
报错Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create Spark client for Spark session 768047b9-c7f7-459f-9220-5d8d7bdabefe)
在执行hive on spark的时候 上面的错误可能有以下几种问题： 1.版本问题 不匹配 2.时间参数问题 设置的参数太小了 3.在hive-site.xml文件中没有配置spark 的home 我的问题属于第一个问题导致没有跑成功 当时也在想是不是内存出现了问题 ......
DDL语句
数据库模式定义语言DDL(Data Definition Language)，是用于描述数据库中要存储的现实世界实体的语言。 数据库模式定义语言并非程序设计语言，DDL数据库模式定义语言是SQL语言（结构化查询语言）的组成部分。DDL描述的模式，必须由计算机软件进行编译，转换为便于计算机存储、查询和 ......
Unexpected character '=' (code 61); expected a semi-colon after the reference for entity 'useSSL' at [row,col,system-id]: [8,75,"file:/usr/bigdata/hive-3.1.3/conf/hive-site.xml"]
在初始化hive时报错，出现如下问题： 错误原因：hive-site.xml 配置文件中，数据库的地址带有 & 符号。 将数据库地址中的 & 符号调整为 &，详情如下： 再次初始化hive，执行结果如下： ......