hadoop hbase hive
输入jps命令发现缺少namenode进程--同时猜想hive启动失败是由于缺少namenode进程的原因
# 问题描述  且  但是在尝试将**NONE ......
关于hive数据库添加信息到表中出现问题的原因细说
# 问题来源 在建表完成之后，尝试使用insert into语句向表中添加数据信息，然后就一直不能成功，当然，添加的数据信息与表的字段类型是对应的； # 问题解决 查阅相关资料发现，原来是虚拟机的内存不太够，然后就按照网上的建议，将下面的语句放置到hadoop下面的**yarn-site.xml** ......
HIVE将长整数转字符串的错误
有一个超长字符串，比如：441066000000001005712973，原来存放在HIVE里表A 是用DECIMAL(24)类型。现在要与另外一个用string类型保存这个字段的表B关联，老是失败。单独检查，发现它与表B的空值关联上。 单独使用语句检查： select cast(441066000 ......
habase2.5.5解决ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not runnin
hbase的master和regionserver启动都正常但是出现错误 org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not runnin之后我翻阅logs里面的启动日志 解决方案 在hbase-site.x ......
Hadoop学习
# Hadoop ## java环境安装 ## hadoop上传、解压 环境变量配置 ~~~bash JAVA_HOME=/usr/local/java/jdk1.8.0_161 CLASSPATH=$JAVA_HOME/lib/ PATH=$PATH:$JAVA_HOME/bin export P ......
org.apache.hadoop.hive.metastore.HiveMetaException: Schema initialization FAILED! Metastore state would be inconsistent !!问题的解决
# 问题描述 hive进行初始化时，出现这样的问题； # 问题解决 只要进入到我们的虚拟机安装配置的mysql里面，将我们hive-site.xml里面提及到的数据库删除，然后再进行初始化即可； 这次出错是因为，我之前已经初始化过，才出现了这个问题； ......
Hadoop的写流程(微观层面)
解释： 步骤1：客户端进行发送存储消息，FileSystem通过rpc调用NameNode的put方法,NameNode对文件的路径，大小以及权限进行校验， 步骤2：校验成功后，返回FSDateOutputStream对象给客户端进行使用 步骤3：客户端对文件进行划分，将划分信息返回给NameNod ......
Hadoop环境安装与配置
1.基础操作系统环境安装（略） 2.JDK的安装与配置 当前各大数据软件如Hadoop等，仍然停留在Java 8上，在本实验选用的是Java 8。在自己的Linux系统中，jdk可以使用如下命令进行一键安装(需具备sudo权限)。 sudo yum install java-1.8.0-openjd ......
hive数据类型
Hive支持以下数据类型： 1. 基本数据类型： * TINYINT：一个非常小的整数，可以存储从0到255的整数值。 * SMALLINT：一个较小的整数，可以存储从-32768到32767的整数值。 * INT：一个标准的整数，可以存储从-2147483648到2147483647的整数值。 * ......
Hadoop大数据平台搭建
# Hadoop平台搭建 ## 一、基础环境准备 ### 1.master、slave1、slave2三台主机上配置以下信息 ``` [root@localhost ~]# cd /etc/sysconfig/network-scripts [root@localhost network-scrip ......
Ubuntu部署Hadoop集群
## 前期准备 ### 系统及软件版本说明 本章操作中所使用的相关操作系统及软件版本如下： | 软件 | 版本 | | | | | 操作系统 | Ubuntu 14.04.1 | | JDK | 1.8.0 | | Hadoop | 2.7.3 | ### JDK 安装 集群中每台机器都需要安装 J ......
大数据实战-Hive-技巧实战_2LgaeiFwLs7mCTwG5T3c9M
# 大数据实战-Hive-技巧实战_2LgaeiFwLs7mCTwG5T3c9M # 大数据实战-Hive-技巧实战 # 1.union 和 union all - 前者可以去重 ```sql select sex,address from test where dt='20210218' unio ......
解决hive数据库的修改删除等更新语句问题
Hive对使用Update功能的表有特定的语法要求, 语法要求如下: (1)要执行Update的表中, 建表时必须带有buckets(分桶)属性 (2)要执行Update的表中, 需要指定格式,其余格式目前赞不支持, 如:parquet格式, 目前只支持ORCFileformat和AcidOutpu ......
龙芯平台Hadoop集群搭建问题解决
这几天一直在困扰我 pycurl 版本和本机的版本不符合 他连接又连接的自己自带的版本 与系统不相同 低级也会报错 https://blog.csdn.net/u010910682/article/details/89496550/?ops_request_misc=&request_id=&biz ......
Hive SQL如何获取(YYYYMM)格式年月的前1个月
如果当前年月为202301，前一个月就是202212，使用如下SQL可以将年月字段（YYYYMM格式）向前平移1个月： date_format(add_months(from_unixtime(unix_timestamp(concat(年月字段,'01'),'yyyyMMdd'),'yyyy-MM ......
hive客户端启动
1.sart-all.sh 2. 3.实现在其他虚拟机访问客户端 scp -r /export/server/apache-hive-3.1.2-bin root@node3:/export/server/ 4.在node3上面输入： /export/server/apache-hive-3.1.2 ......
hive-metastore服务启动方式
1.前台启动hive命令： /export/server/apache-hive-3.1.2-bin/bin/hive --service metastore 2.后台启动hive命令： ......
Hive处理json数组
思路：使用正则替换json数组内部json串之间的逗号。"},{" > "}|{"，再使用炸裂函数lateral view explod(split(col,"|"))将列转行，最后使用get_json_object()单独处理每个展开行的数据。 SELECT explode(split( rege ......
HBase学习笔记
你可以把HBase当做是MySQL，把HDFS当做是硬盘。HBase只是一个NoSQL数据库，把数据存在HDFS上 docker run -d --name datax-admin --restart=always -p 2020:2020 --net my-network --ip 172.20. ......
hive-explode 和 lateral view
### explode&lateral view explode与lateral view在关系型数据库中本身是不该出现的，因为他的出现本身就是在操作不满足第一范式的数据（每个属性都不可再分），本身已经违背了数据库的设计原理（不论是业务系统还是数据仓库系统），不过大数据技术普及后，在业务系统中是存贮 ......
HIVE-最大连续登陆天数
### 一、背景 在网站平台类业务需求中用户的「最大登陆天数」，需求比较普遍。原始数据： ```plsql u0001 2019-10-10 u0001 2019-10-11 u0001 2019-10-12 u0001 2019-10-14 u0001 2019-10-15 u0001 2019- ......
hive-拉链表
**工作中的拉链表是使用spark程序开发的，因为一些业务需求单纯使用sql解决不了，以下是使用纯sql写的拉链表**拉链表是针对数据仓库设计中表存储数据的方式而定义的，顾名思义，所谓拉链，就是记录历史。**记录一个事物从开始，一直到当前状态的所有变化的信息。**下面就是一张拉链表，存储的是用户的最 ......
Flink-读Kafka写Hive表
1. 目标 使用Flink读取Kafka数据并实时写入Hive表。 2. 环境配置 EMR环境：Hadoop 3.3.3, Hive 3.1.3, Flink 1.16.0 根据官网描述： https://nightlies.apache.org/flink/flink-docs-release-1 ......
HDFS的shell命令（Hadoop fs [参数]）
hadoop fs -ls file:/// 操作linux本地文件系统 hadoop fs -ls hdfs://node1:8020/ 操作HDFS分布式文件系统 hadoop fs -ls / 直接根目录，没有指定协议 将加载读取fs.defaultFS值 标准的hadoop上传文件命令： h ......
Hive LAG函数分析
含义：LAG(col,n,DEFAULT) 用于统计窗口内往上第n行值 第一个参数为列名，第二个参数为往上第n行（可选，默认为1），第三个参数为默认值（当往上第n行为NULL时候，取默认值，如不指定，则为NULL） https://blog.csdn.net/weixin_43291055/arti ......
hive-四种排序
 #### 数据准备 ```plsql 2008 32.0 2008 21.0 2008 31.5 2008 17. ......
hive-表的操作
### 创建表 create table语句遵从sql语法习惯，只不过Hive的语法更灵活。例如，可以定义表的数据文件存储位置，使用的存储格式等。 ```plsql create table if not exists test.user1( name string comment 'name', ......