[datax][报错解决] datax发送数据到hdfs时的一系列问题

发布时间 2023-10-27 17:17:18作者: Akira300000

前提

项目里有三个表需要同步到hdfs上,用datax进行全量同步,写了脚本一把梭,结果就报错了

不支持truncate写入模式

报错信息就是datax不支持truncate模式,原因是之前有的版本不支持truncate,源码有点问题,最好直接找最新的版本,没问题

不支持写入HDFS

报错IOException: bahbahbah...

hdfs端口号写错了,注意是namenode自己的端口,不是网页版可视化的那个地址

IP/host/passwd/username出错,无法连接mysql数据库

/opt/module/datax/plugin/reader/mysqlreader/libs/目录下把mysql-connector-java-5.xxx换成最新版(8.x版本的)