hive数据库指定删除首行数据

发布时间 2023-10-11 18:46:07作者: yesyes1

在我们将csv文件或者txt文件导入到虚拟机本地时,要是不提前将首行的数据指引删除,就会跟随着我们的期望数据显示在hive的数据库里面,

上次测试,我就是直接在csv文件里面删除了,但是运行起来确实稍微慢了一点,要是数据条数再多一些,就很难直接在根文件里面进行删除,所以,我找到了一个新的方法,

来排除掉这个冗余的数据————在hive数据库里面利用hive语句删除;

要么就是在建表时进行排除:

create table student
(
id int,
name string
) row format delimited fields terminated by ','
TBLPROPERTIES('skip.header.line.count'='1');

或者在建表和导入数据均完成之后再执行:

alter table student set TBLPROPERTIES('skip.header.line.count'='1');

这样就ok啦~~