hive-dml hive dml dql
DQL查询
DQL基本查询 1.查询多个字段 select 字段1，字段2，字段3... from 表名; select * from 表名; 2.设置别名 select 字段1 [as 别名]，字段2 [as 别名]，字段3 [as 别名]... from 表名; 3.去除重复记录 select distin ......
DML语句
DML添加数据： 1.给指定字段添加数据：insert into 表名（字段名1，字段名2...）values（值1，值2...）; 2.给全部字段添加数据：insert into 表名 values（值1，值2...）; 3.批量添加数据： insert into 表名（字段名1，字段名2...） ......
hive 优化
hive 优化 ` -- 合并小文件 set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; -- set hive.input.format=org.apache.hadoop.hive.ql.io.Hi ......
Hive 和 Spark 分区策略剖析
随着技术的不断的发展，大数据领域对于海量数据的存储和处理的技术框架越来越多。在离线数据处理生态系统最具代表性的分布式处理引擎当属Hive和Spark，它们在分区策略方面有着一些相似之处，但也存在一些不同之处。 ......
azure databricks使用external hive metastore跨工作区共享元数据
为什么要使用external hive metastore可以跨workspace的共享元数据，不用每次创建workspace的时候都重复的把元数据重建一次。更好的元数据集中管理，Create once, use everywhere。为灾难恢复(DR)做好为准备，并降低复杂性。（PAAS一样会存在 ......
dml语句和ddl语句一起执行时，得点击提交按钮
delete属于DML语句，而truncate和drop都属于DDL语句，这造成了它们在事务中的不同现象： delete在事务中，因为属于DML语句，所以可以进行回滚和提交操作（由操作者） truncate和drop则属于DDL语句，在事务中，执行后会自动commit，所以不可以回滚； ......
hive学习
###什么是hive hive是由Facebook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL查询功能。 hive主要是用来做海量数据的分析和计算。 hive是一个Hadoop客户端，用于将HQL（hive SQL）转化成mapreduce程序。 hi ......
hive建表语句详解
hive使用create建表语句格式如下: CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PA ......
hive建表语句
hive有三种建表语句 1,create建表 CREATE EXTERNAL TABLE dwd_database.table_name( id BIGINT,user_id STRING,gmt_modified TIMESTAMP,gmt_create TIMESTAMP,pending_rew ......
hive的数据类型
一 hive的数据类型 1.1 基本类型 Hive 的原子数据类型是可以进行隐式转换的，类似于 Java 的类型转换，例如某表达式 使用 INT 类型，TINYINT 会自动转换为 INT 类型，但是 Hive 不会进行反向转化，例如，某表 达式使用 TINYINT 类型，INT 不会自动转换为 T ......
docker 搭建大数据集群（hive、hbase、ZooKeeper、Scala、Spark）
1）本机系统设置 电脑设置虚拟缓存（设置为自动管理） 虚拟机设置内存和CPU 内存设置为8G（或以上） CPU稍微设置高一点（三个虚拟化能开就开） 虚拟机系统配置阿里源 wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun. ......
MySQL的DML操作
总结：DML操作是对数据进行操作 不会对表结构进行操作 基本功能：插入insert 删除：delete 更新：update 代码： -- 2. DML数据库操作 -- 基本功能 插入insert 删除delete 更新update -- 1. 数据的插入 -- 格式1：insert into 表 ( ......
HIVE库查看版本号
查看hive版本号（web） 1、进入hadoop的CM控制台，找到左边的hive点击进入 2、在hive中，找到状态摘要：Hive Metastore Server 3、在Hive Metastore Server ( Cluster 1 Hive hadoop05 )中，点击‘hadoop05 ......
第六章.Hive组件安装配置
第六章.Hive组件安装配置 1.1. 实验目的 完成本实验，您应该能够： 掌握 Hive 组件安装配置 掌握 Hive 组件格式化和启动 1.2. 实验要求 熟悉 Hive 组件安装配置 了解 Hive 组件格式化和启动 1.3. 实验环境 本实验所需之主要资源环境如表 1-1 所示。 | 服务器 ......
hive引入partition和bucket的概念，中文翻译分别为分区和桶
https://www.cnblogs.com/cxzdy/p/5524477.html hive引入partition和bucket的概念，中文翻译分别为分区和桶（我觉的不是很合适，但是网上基本都是这么翻译，暂时用这个吧），这两个概念都是把数据划分成块，分区是粗粒度的划分桶是细粒度的划分，这样做为 ......
hive和kudu数据之间的互相迁移存在的坑
一、为什么要进行数据迁移 背景：我现在有个需求：需要修改kudu表的主键，主键由1个字段增加为2个字段。因为不能影响下游系统使用kudu表，kudu表表名不能做修改。需要将原kudu表删除后再建新kudu表。 这里存在几个潜在知识点： 1.kudu表修改主键不能使用命令直接修改，必须重新删表然后建表 ......
DDL和DML的补充
【1】sql展示： -- 创建表： create table t_student( sno int(6) primary key auto_increment, sname varchar(5) not null, sex char(1) default '男' check(sex='男' || ......
DDL和DML的补充
【1】sql展示： -- 创建表： create table t_student( sno int(6) primary key auto_increment, sname varchar(5) not null, sex char(1) default '男' check(sex='男' || ......
SQL：DML、DQL、DCL
SQL：DML、DQL、DCL DML：Data Manipulation Language(数据操作语言) DML用来对数据库中的数据记录进行增删改操作。 DML-添加数据 给指定字段添加数据(一条数据) INSERT INTO 表名(字段名1,字段名2,...) VALUES(值1,值2,... ......
工良出品：包教会，Hadoop、Hive 搭建部署简易教程
导读 最近一个数据分析朋友需要学习 Hive，刚好我也想学，便利用手头的服务器搭建一个学习环境，但是搭建过程中，发现网上的教程很多过时了，而且部署过程中，很多地方走不通，博主也没有给出对应的说明。花了大力气才从各种资料中完成 Hadoop、Mysql、Hive 三者的部署。 因此，本文记录在 Win ......
Sqoop导出ClickHouse数据到Hive
背景 公司采购了外部服务，其存储为ClickHouse，按照公司要求需要将其数据采集到Hive。 验证环境 CDH: 6.3.2 ClickHouse: 19.15.4.10 Sqoop: 1.4.7 Driver 需要在脚本中明确指明所使用的Driver完整签名。 ClickHouse使用自定义协 ......