spark-hive spark hive
每日学习之hive
Hive利用HDFS存储数据，利用MapReduce查询数据 Hive能将数据文件映射成为一张表，在hive中能够写sql处理的前提是针对表，而不是针对文件，因此需要将文件和表之间的对应关系描述记录清楚。映射信息专业的叫法称为元数据信息（元数据是指用来描述数据的数据）。元数据存储在关系型数据库中 H ......
关于hive中的com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V报错
com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V这个报错是因为Hive 3.1.3 guava 19.jar 和hadoop3.2.4 不兼容导致 解决方法—— 之后h ......
每日总结(hdfs文件导入到hive表)
1 CREATE TABLE employees ( 2 id INT, 3 name STRING, 4 age INT, 5 salary FLOAT 6 ) 7 ROW FORMAT DELIMITED 8 FIELDS TERMINATED BY ',' 9 STORED AS TEXTFI ......
使用 Databend 加速 Hive 查询
作者：尚卓燃（PsiACE） 澳门科技大学在读硕士，Databend 研发工程师实习生 Apache OpenDAL(Incubating) Committer https://github.com/PsiACE 随着架构的不断迭代和更新，大数据系统的查询目标也从大吞吐量查询逐步转移转向快速的交互式 ......
将从hive传到mysql数据库的数据使用Echarts进行可视化
1、使用JDBC连接数据库 //DBUtil.java package org.example; import java.sql.*; public class DBUtils { public static String db_url="jdbc:mysql://node1:3306/transp ......
每日总结|9.21-Hive搭建及报错解决方案
搭建 安装hive 把 apache-hive-3.1.2-bin.tar.gz 上传到 linux 的/opt/software 目录下 解压 apache-hive-3.1.2-bin.tar.gz 到/opt/module/目录下面 tar -zxvf /opt/software/apache ......
将txt、csv等类型文件导入到hive数据库中
1、将.txt文件（以sample.csv文件为例）放到data文件夹下面 建议直接用上传进行文件的上传（命令的话，我还没搞清楚）； 2、进入到hive数据库中，根据txt文件信息创建表 create table test1 (day_id varchar(30),sale_nbr varchar( ......
关于hive数据库数据导入mysql数据库问题的解决
1、表结构对比 都是字符类型，在我看来么的问题； 2、导入依赖的包试试 sqoop export --connect 'jdbc:mysql://192.168.88.151:3306/transport?useUnicode=true&characterEncoding=utf-8' \ > -- ......
hive导出到mysql以及mysql导入到hive
hive导出到mysql： /export/server/sqoop-1.4.7.bin__hadoop-2.6.0/bin/sqoop export --connect jdbc:mysql://10.99.118.207:3306/db_msg --username root --passwor ......
关于hive中使用group by报错的问题的解决
问题描述+问题解决 在我在hive数据库中使用group by的函数时，如果在我们决定显示出来的字段名中有非聚合的字段（即字段名为原生字段名，并没有加什么SUM等聚合函数）， 那么，我们就必须在group by 后面引用上这个非聚合字段，否则就会报错； 同时，在我们写数据到新的数据表中时，一定要保证 ......
apache-paimon初体验 （hive用法待完善）
1.官网 https://paimon.apache.org/docs/master/engines/hive/ 2.安装flink 3.下载依赖包到flink lib目录下 4.运行yarnsession 创建Application-Name，并修改配置文件 ./bin/yarn-session. ......
hive的相关学习1---wordCount实例
1、新建一个名为file1.txt的txt文件存储数据 2、在sss数据库中新创建一个名为docs的表 create table if not exists docs(line string); 3、将file1.txt的数据导入到新创建的docs表中 load data local inpath ......
FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient问题的解决
问题描述 今天再次打开虚拟机（之前交完作业之后，就不敢再打开了，害怕看到报错信息），打开hive之后，启用hive命令时，发现了这个问题； 问题解决 经查阅资料发现，原来是因为我再使用hive命令之前，没有开启metastore服务和hiveserver2服务，先开启了这两个服务，再进入hive里面 ......
图解Spark排序算子sortBy的核心源码
原创/朱季谦 一、案例说明 以前刚开始学习Spark的时候，在练习排序算子sortBy的时候，曾发现一个有趣的现象是，在使用排序算子sortBy后直接打印的话，发现打印的结果是乱序的，并没有出现完整排序。 例如，有一个包含多个（姓名，金额）结构的List数据，将这些数据按照金额降序排序时，代码及打印 ......
Hive的分区
在下面的代码中，我们创建了名为emp的分区表，使用关键字partitioned by： create table emp( name string, age int ) partitioned by (provice string,city string); 在这里，用partitioned by指 ......
Hive的ConfigurationProperties
Version Information Hive 0.14.0 adds new parameters to the default white list (see HIVE-8534). Hive 1.1.0 removes some parameters (see HIVE-9331). Hiv ......
Hive数据库中执行更新和删除数据操作
在Hive中，ACID表是支持ACID（原子性、一致性、隔离性和持久性）事务的表。这意味着这些表支持事务处理，如INSERT、UPDATE、DELETE和COMMIT操作。 然而，并非所有的Hive表都是ACID表。例如，如果你正在使用一个不支持ACID事务的Hive版本或配置，那么你可能无法在这些 ......
HIVE ASCII码
hive中的分割符使用八进制的ASCII码表示 1 八进制 十六进制 十进制 字符 使用方法 2 00 00 0 nul 3 01 01 1 soh 4 02 02 2 stx 5 03 03 3 etx 6 04 04 4 eot 7 05 05 5 enq 8 06 06 6 ack 9 07 ......
sqoop1.4.7完全支持Hadoop3.x, Hive3.x Hbase2.x
已经修改好 保存至云盘 自己下载 花了时间的，记得关注我。。。 链接：https://pan.xunlei.com/s/VNe6P6Tm1A9Q-RG5GByN08rdA1# 提取码：5nke 复制这段内容后打开手机迅雷App，查看更方便 下载解压直接用，里面的内容已经改好 但是需要注意的是conf ......
Spark基础——Scala1.3
For循环控制 1.To 范围数据循环 to <-规定to 前后闭合，如i<- 1 to 10,则输出包括1到10的所有数 for (i<- 1 to 12){ println("她喜欢我"+i+"次")//输出结果为1-12所有数 2.until 前闭合后开 i<-1 until 10 相当于输出 ......
Spark基础——scala1.2
if/if else/StdIn.readShort方法运用 StdIn.readShort适用于整数数据类型 println("请输入年龄") var age=StdIn.readShort//交互式 if (age<18){ println("小屁孩") }else{ println("大人") ......
Spark基础——scala基础1.0
定义对象和强制转化 1.定义规则 var 变量名 ：变量类型 =初始值 var i :Int=10 var j :Double=3.33 //var 变量名 ：变量类型 =初始值 val o:Int=2 //val 常量名 ：变量类型 =初始值 变量声明时，必须要有初始值 i=20 //var修饰的 ......
hive启动整个流程
首先是start-all.sh然后打开历史服务器：mapred --daemon start historyserver最后首先启动metastore服务，然后启动hiveserver2服务nohup bin/hive --service metastore >> logs/metastore.lo ......
sqoop把hive中的数据导入mysql中文乱码问题解决
sqoop导出数据中文乱码问题我参考的这个博客sqoop把hive数据导入mysql出现中文乱码_mysql的表数据导入到hive表中文乱码_bboy枫亭的博客-CSDN博客 用方法一就行。剩下的就是测试。 测试样例 bin/sqoop export \ --connect "jdbc:mysql: ......
关于IDEA里面连接数据库找不到org.apache.hive.jdbc.Driver的问题
问题描述 昨天就很顺利地连接上了，今天直接找不到我的class了，吓出一身冷汗； 问题解决 后来发现导入的jar包的路径不太对，突然想起来jar包的位置被我移动了，但是IDEA里面并没有改变原来的位置，找不到jar包的问题， 重新将jar包的路径浏览一遍即可解决； ......
使用IDEA连接Hive数据库使用Java代码实现增删改查还需要一个Hive配置类
可以取名为：HiveConfig-- package com.example.config; import com.alibaba.druid.pool.DruidDataSource; import lombok.Data; import org.springframework.beans.fac ......
Hive进行增删改查语句命令之前，需要做的一些配置
1、在我们刚刚将Hive连接到IDEA之后 满怀期待地想要试一试sql语句，发现除了select和insert，其余的都会报错； 2、查阅资料发现，要是想要执行其余的语句 需要在虚拟机的hive-site.xml文件里面，添加上下面的语句： <property> <name>hive.support ......
IDEA远程连接Hive(首先要确保本机和虚拟机在一个公网上面，具有连通性)
1、开启hiveserver2服务 start-all.sh nohup /export/server/apache-hive-3.1.2-bin/bin/hive --service metastore & nohup /export/server/apache-hive-3.1.2-bin/bi ......
hive2.3.1部署
1.安装本人安装hive1.2.1的方式准备mysql和hive 2.不同点为配置hive-site.xml时，需要在文件中额外添加配置 <!--hive2需要初始换元数据 schematool -initSchema -dbType mysql--> <property> <name>datanu ......
spark2.4.4安装
1、环境准备： 下载spark-2.4.4-bin-hadoop2.7.tgz 上传安装包到Linux中 解压安装包 tar -zxf spark-2.4.4-bin-hadoop2.7.tgz -C /hadoop/app 2、配置环境 2.1修改hadoop中yarn-site.xml <pro ......