使用sqoop export命令将hive数据导入mysql

发布时间 2023-09-24 08:48:53作者: yesyes1

描述一下

因为我前两天的测试里面,用的是另外一种方法,所以今天想要尝试一下sqoop export的方法,这个方法我之前也试过,但是一直报错,但是!我又来啦!!!

相关步骤

自己设置一个数量不多的csv文件:

然后按照之前的步骤:上传,导入数据库:

然后在mysql里面同时创建一个与hive数据库中结构一致的表:

执行hive导入mysql的操作:

家人们!他进来啦!

看来就是我之前的语句的问题!!!

下面来解析一下各行语句的具体含义(避免我自己忘了):

bin/sqoop export \
--connect jdbc:mysql://node1:3306/transport \
--username root \
--password hadoop \
--table text \
--num-mappers 1 \
--export-dir /user/hive/warehouse/sss.db/text \
--input-fields-terminated-by ","

首先,这个代码是在sqoop的下载目录下运行的,然后在这里:

调用的bin目录;

然后connect是,node1--虚拟机的主机名称;transport--在mysql里面定义的数据库的名称;

之后username和password,都是进入虚拟机的mysql的用户名和密码;

然后table,也是mysql的transport数据库下面的表的名称;

num-mappers直接照抄;

export-dir是,进入到hive的webUI界面:

就能够找到我们在hive里面存储数据的那张表;

最后一行,显示的是我们的数据的分隔符;

完成!