hive-dml hive dml dql
MySQL学习-DML（Data Manipulation Language）数据--select语句
select * from emp select ename,sal from emp 查询不重复的记录： 排序：默认升序排列，desc是降序，asc升序 order by 后面可以跟多个不同的排列字段，并且每个字段可以有不同的排列顺序。 如下先按照deptno升序排列，再按照sal降序排列。 限制 ......
数据仓库——Hive
数据仓库：是一个用于储存，分析，报告的数据系统 数据仓库的目的是构建面向分析的集成化数据环境，分析结果为企业提供决策支持 数仓专注分析 数据仓库仓库为何而来，解决什么问题的？ 为了分析数据而来，分析结果给企业决策提供支撑。 ......
hadoop hive hbase
公司报表是基于数仓开发的，分层是ods>dwd>dwm>dm，sqoop再同步到传统数据库，帆软展示，或tableau展示，这块涉及的是离线计算。 记录下大数据开发设计的概念： 1、hadoop：分布式计算（MapReduce）+分布式文件系统（HDFS），后者可以独立运行，前者可以选择性使用，也可 ......
HIVE中对于时间变换的处理
### 一、获取月份第一天/最后一天 ``` --需求一：获取月份第一天/最后一天 --方式一：last_day --获取当月第一天 select date_add(last_day(add_months('2020-06-14',-1)),1); --获取当月最后一天 select last_da ......
Hive安装与启动
## 一、mysql安装 在配置Hive之前一般都需要安装和配置MySQL，因为Hive为了能操作HDFS上的数据集，那么他需要知道数据的切分格式，如行列分隔符，存储类型，是否压缩，数据的存储地址等信息。 为了方便以后操作所以他需要将这些信息通过一张表存储起来，然后将这张表（元数据）存储到mysql ......
史上最全Hive面试题，高薪必备，架构必备
文章很长，且持续更新，建议收藏起来，慢慢读！[**疯狂创客圈总目录 博客园版**](https://www.cnblogs.com/crazymakercircle/p/9904544.html) 为您奉上珍贵的学习资源 ： 免费赠送 :[**《尼恩Java面试宝典》**](https://www. ......
sql 练习（hive，spqrk）
# 数据准备 ## 表1 课程表（course） | ***\*字段名\**** | ***\*数据类型\**** | | | | | 课程编号（CNO） | string | | 课程名称（CNAME） | string | | 教室编号（TNO） | string | ## 表2 成绩表（sco ......
Sqoop 数据导入hive size大小如何控制？
描述：sqoop 从 hana 导入数据到 hive，数据量1300万，当 设置参数 -m 7 时，产生7个文件，但只有 3 个有数据，且大小不一，600多m，300dm，40m，修改参数为 -m 5，文件变成了5个，但是有数据的还是那三个，奇怪 该如何控制文件大小接近块大小。 修改 -m 1时，倒 ......
Hive分区/分桶
# 分区 hive的分区的是针对于数据库的分区,将原来的数据(有规律的数据)分为多个区域,数据和表的信息是不会有变化的,但是会增加namenode的压力 分区的目的是提升查询效率,将原来的文件进行多层次的管理 分区有三种,静态分区,动态分区,混合分区 关键字:**partitioned by(字段) ......
MySQL学习-DML（Data Manipulation Language）数据
回顾DDL语言： show databases; create database hufei; use hufei; create table emp(name varchar(20),age int(10)); show create table emp \G; alter table emp r ......
Hive列值转换为列名处理方案
1.背景 最近有个朋友问了一个问题，如何把列值转换为列名进行展示，比如一个表有销售名称，销售日期，销售金额，他想统计这个销售每个月的销售额，然后每个月作为列字段。 2.实施 方法1使用case when: select t1.sale_name ,sum(case when t1.month_id= ......
DML语句
DML(Data Manipulation Language)是Oracle数据库的数据操作语言,用于对数据库中的数据进行增删改查操作。它允许用户插入、删除、更新数据库中的数据,以及查询数据库中的数据。 DML语句的主要类型有: 1. INSERT:用于向表中插入新的行。 INSERT INTO e ......
2023 Hive 面试大纲
#### 先说一些废话 总结一下Hive面试大纲，方便读者快速过一遍Hive面试所需要的知识点 ## Hive的介绍 ### Hive和Hadoop的关系 1. Hive利用hdfs存储数据，利用MapReduce查询数据 2. Hive的数据存储在hdfs上，简单的说Hive就是hdfs的简单一种 ......
LightDB支持从节点转发DML
LightDB, 是一个`Enterprise Postgres`, 恒生电子生产. 它在22.1(2022Q1)版引入一个[实验性功能](https://www.hs.net/lightdb/docs/html/lt-standby-forward.html), standby(从节点)可接受写数 ......
基于CDH环境下的Hive数仓配置及优化
# 基于CDH环境下的Hive数仓配置及优化 原文连接地址：https://blog.csdn.net/sinat_31854967/article/details/127274575 ## YARN的基础配置 ### NodeManager CPU配置 - 在YARN界面中，点击配置，然后搜索配置 ......
未安装HBase时Hive on Spark任务卡顿处理如何解决
操作场景 此功能适用于Hive组件。 按如下操作步骤设置参数后，在未安装HBase的环境执行Hive on Spark任务时，可避免任务卡顿。 说明：Hive on Spark任务执行Hive on Spark任务。如果没有安装HBase，默认在执行Spark任务时，会尝试去连接Zookeeper访 ......
Hive SQL 之 date()函数
当使用Hive SQL中的 date 函数时，你可以从时间戳中提取日期部分，或将日期的字符串表示转换为日期数据类型。 date 函数的语法如下： ``` date(date_string) ``` 这里， date_string 是表示日期或时间戳的输入字符串。 date 函数将输入的日期部分作为日 ......
HIVE sql 初识笔记
一、sql 1. 向hive里的某张表添加数据load data local inpath '/home/ocdp/hfb/sex.txt' OVERWRITE into table TD_NP_ENUM_COC_BATCH1_DAY_COLUMN_013; 2. 查询 select * from ......
Hive 的执行优化问题小结
hive 的谓词下推和optimize优化功能的讨论 sql 核心的大概结构为 with user_table as ( select user_id from user ) select t1.user_id from ( select t1.user_id, .... from ( select ......
hive执行truncate table报错堆栈信息
Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:Got exception: org.apache.hadoop.ipc.RemoteExcepti on The directory ......
Hadoop中hive的使用
启动元数据管理服务（必须启动，否则无法工作） 前台启动：bin/hive --service metastore 后台启动：nohup bin/hive --service metastore >> logs/metastore.log 2>&1 & 启动客户端 Hive Shell方式（可以直接写 ......
DQL语句
## DQL语句 #### DQL数据库查询语言  **查询关键字:SELECT**  # 1. 复制数据到另一个表 ## 1.1. sql ```sql insert into dept_east ......
hadoop2.7.2上安装hive
hive版本1.21 mysql版本5.6.24 1.解压hive tar -zxf apache-hive-1.2.1-bin.tar.gz -C ../app/ cd ../app/ ln -s apache-hive-1.2.1-bin hive 2.安装mysql 注：参考Linux安装My ......