hive-dml hive dml dql
Hive是什么
Hive是一种基于Hadoop的数据仓库工具，它可以将结构化数据映射为一张数据库表，提供了类似于SQL的查询语言，使得数据分析师和开发人员可以使用SQL语句对分布式存储的数据进行查询和分析。 Hive可以将Hadoop分布式文件系统（HDFS）中的数据转换为SQL查询，从而使得分布式数据分析变得更加 ......
Hive3安装
1、下载安装包 地址：http://archive.apache.org/dist/hive/ 2、安装mysql 参考：https://www.cnblogs.com/jpxjx/p/16817724.html 3、上传安装包并解压 tar zxvf apache-hive-3.1.2-bin.t ......
MyBatisPlus——DML编程控制——乐观锁
乐观锁 业务并发现象带来的问题：秒杀最后一单 用于中小型项目（2000请求以下） 添加一个数据库字段，使每次请求修改数据时，这个字段就加一，当有多人同时请求时，这些人同时获取到的都是相同的该字段，但当有一人完成了秒杀后字段加一，其他同时获取到的该字段就不匹配了 配置步骤 数据库表中添加锁标记字段 实 ......
hive快速入门
Hive是一个基于Hadoop的数据仓库工具，它提供了类似于SQL的查询语言（HiveQL）来对存储在Hadoop分布式文件系统（HDFS）中的数据进行查询和分析。 Hive的目标是使得数据分析人员可以使用熟悉的SQL语言进行数据分析，而无需编写MapReduce程序。 Hive将查询语句翻译为Ma ......
MybatisPlus——DML编程控制——增删改
DML编程控制 id生成策略控制 不同的表应用不同的id生成策略 日志：自增（1,2,3,4，......） 购物订单：特殊规则（FQ23948AK3843） 外卖单：关联地区日期等信息（10 04 20200314 34 91） 关系表：可省略id ...... 注解控制 @TableId 类型： ......
Hive学习记录
数仓概念 数据仓库（英语：Data Warehouse，简称数仓、DW）,是一个用于存储、分析、报告的数据系统。 数据仓库的目的是构建面向分析的集成化数据环境，分析结果为企业提供决策支持（Decision Support） SQL语法分类 SQL主要语法分为两个部分：数据定义语言 (DDL)和数据操 ......
【MySQL】MySQL基础07— SQL学习 — DQL — 分组查询（转载请注明出处）
##SQL学习 — DQL — 分组查询 5. 分组查询 背景：在分组函数的内容中，我们提及和分组函数一起查询的字段会有限制，产生错误。因为分组函数是将所以的参数统计成一个结果，而查询的字段是返回符合条件的个数，那么就会出错。所以引入了分组查询，将表中的相同的内容切分成数块，然后分别进行统计后返回结 ......
【MySQL】MySQL基础05 — SQL学习 — DQL — 常见函数 — 分组函数（转载请注明出处）
##SQL学习 — DQL — 常见函数 — 分组函数 4. 常见函数（附加） /* 概念：类似于java的方法，将一组逻辑语句封装在方法体中，对外暴露方法名。 好处：1.隐藏了实现细节 2.提高代码的重用性 调用语法：select 函数名(实参列表) 【from 表】; 特点： 1.叫什么（函数名 ......
【MySQL】MySQL基础05 — SQL学习 — DQL — 常见函数 — 单行函数（转载请注明出处）
##SQL学习 — DQL — 常见函数 — 单行函数 4. 常见函数（附加） /* 概念：类似于java的方法，将一组逻辑语句封装在方法体中，对外暴露方法名。 好处：1.隐藏了实现细节 2.提高代码的重用性 调用语法：select 函数名(实参列表) 【from 表】; 特点： 1.叫什么（函数名 ......
使HIve字段注释、表注释、分区键、索引注解支持中文
进入Hive元存储数据库，这里为MySQL 修改字段注释字符集 alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8; 修改表注释字符集 alter table TABLE_PARAMS modify ......
远程连接Hive
0 准备工作 启动了Hadoop 启动了Hive元存储数据库 1 开启Hive远程连接服务 # 前台开启 hive --service metastore hive --service hiveserver2 # 后台开启 hive --service metastore & hive --serv ......
hive OpenCSVSerde
OpenCSVSerDe 1.如果数据包含使用双引号 (") 括起的值 2.您的数据具有 UNIX 数字 TIMESTAMP 值 (时间戳) create table tab_name (element element_type...) row format serde 'org.apache.ha ......
Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop1:10000:
解决方法：配置超级用户代理其他用户 在hadoop配置文件core-site.xml添加 <property> <name>hadoop.proxyuser.super.hosts</name> <value>host1,host2</value> </property> <property> <n ......
Hive下载安装配置
0 准备工作 下载安装jdk：https://www.cnblogs.com/lgjb/p/17292890.html 搭建Hadoop完全分布式集群：https://www.cnblogs.com/lgjb/p/17292835.html 下载安装MySQL：https://www.cnblogs ......
hive 数据仓库分层
1：为什么要分层 大多数情况下，我们完成的数据体系却是依赖复杂、层级混乱的。如下图，在不知不觉的情况下，我们可能会做出一套表依赖结构混乱，甚至出现循环依赖的数据体系 我们需要一套行之有效的数据组织和管理方法来让我们的数据体系更有序，这就是谈到的数据分层。数据分层并不能解决所有的数据问题 2：数仓的三 ......
hive Serde(默认)
Hive 读文件机制 首先调用InputFormat(默认TextFormat),返回一条一条的键值对记录（默认是一行对一行键值对）。然后用Serde（默认为LazySimpleSerde）的Deserializer,将一条记录的value根据分隔符切分为各个字段。 | HDFS files | I ......
通过 docker-compose 快速部署 Hive 详细教程
一、概述 其实通过 docker-compose 部署 hive 是在继上篇文章 Hadoop 部署的基础之上叠加的，Hive 做为最常用的数仓服务，所以是有必要进行集成的，感兴趣的小伙伴请认真阅读我以下内容，通过 docker-compose 部署的服务主要是用最少的资源和时间成本快速部署服务，方 ......
Hadoop、Hive和Spark的关系
大数据技术生态中，Hadoop、Hive、Spark是什么关系？| 通俗易懂科普向 Hadoop、Hive和Spark，都是大数据相关的系统和技术。 大数据也是数据管理系统的范畴。数据管理系统涉及两个方面的问题，一个是数据怎么存储？一个是数据怎么计算？ 为了方便理解，我们需要从单机的时代来讲解。 在 ......
DQL案例
select * from emp where sex='女' and age in(16,17,18);/*查询女性年龄为16，17，18的员工 */select * from emp where sex='女' and age between 18 and 20 and name like '_ ......
【MySQL】MySQL基础04 — SQL学习 — DQL — 排序查询
##SQL学习 — DQL — 条件查询 3. 排序查询 /* 语法： select 查询字段 from 表名 【where 筛选条件】 order by 排序字段 【asc | desc】 特点： 1. asc代表升序，desc代表降序 如果不写，默认升序 2. 排序字段除了可以是表达式外，还可以 ......
【MySQL】MySQL基础03 — SQL学习 — DQL — 条件查询
##SQL学习 — DQL — 条件查询 DQL语言学习 数据查询语言（Data Query Language），关键字 select 使用DQL前，先输入USE 库名; 2.条件查询 语法： select `查询列表` from 表名 where 筛选条件; 分类： /* 分类： 一、按条件表达式 ......
【MySQL】MySQL基础 — SQL学习 — DQL — 基础查询
##SQL学习 — DQL — 基础查询 DQL语言学习 数据查询语言（Data Query Language），关键字 select 使用DQL前，先输入USE 库名; 1.基础查询 1.1 查询字段 # 基础查询 /* 语法： select `查询列表` from 表名； # `查询列表`，`着 ......
A4--Hive部署
一、版本信息 JDK 1.8 Hive 3.1.3 MySQL 8.0.30 二、安装部署Mysql 参考地址：离线安装MySql8.0(主从模式) 三、安装部署Hive 1. 安装准备 1） 把 apache-hive-3.1.3-bin.tar.gz 上传到 linux 的/opt/src 目录 ......
CDH+Hive部署
CDH介绍： CDH 全称 Cloudera’s Distribution Including Apache Hadoop，是 Cloudera 公司提供的一个 Apache Hadoop 发行版。CDH 将 Hadoop 与其他十几个关键的开源项目集成，并且加入了集群自动化安装、中心化管理、集群监 ......
MYSQL基础知识之DQL语句
1、DQL概念 DQL英文全称是Data Query Language(数据查询语言)，用来查询数据库中的表的记录 2、基本查询 语法： # 查询全部字段SELECT * FROM 表名; # 查询多个字段SELECT 字段1,字段2,字段3... FROM 表名; # 去重 语法：SELECT D ......
Hive 如何巧用分布函数percent_rank()剔除极值求均值
场景描述 前期写过一篇关于剔除订单极值求订单均值的案例，之前使用的是 dense_rank 函数对订单金额进行排序后，过滤掉最大值最小值后进行处理，最近工作刚好使用到分布函数percent_rank，想起来应该也可以用到这个场景； percent_rank() 简介 percent_rank() 函 ......
MYSQL基础知识之DML语句
1、DML概念 DML英文全称是Data Manipulation Language(数据操作语言)，用来对数据库中表的数据进行增(INSERT)、删(DELETE)、改(UPDATE)操作 2、插入数据 语法： 2.1、 给指定字段添加数据INSERT INTO 表名 (字段1,字段2,...) ......
DQL分组查询
DQL分组查询： 1.语法：select 字段列表 from 表名 [where 条件] group by 分组字段名 [having 分组后过滤条件]; where和having的区别： 执行时机不同：where是分组之前进行过滤，不满足wehere条件，不参与分组；而having是分组之后对结果 ......
大数据经典论文解读 - Hive
Hive 基于HDFS和MapReduce提供了一个基本的SQL的数据仓库方案。关键点：在数据库系统设计时，如何把查询语言和计算框架分离，做好对现有系统的复用 设计目标 写SQL执行MapReduce任务 数据模型 从MapReduce任务到SQL语言间存在很多鸿沟 序列化和类型信息，基于SQL的数 ......