datax+datax-web数据同步

发布时间 2023-05-24 14:42:40作者: 悠悠乃

相关文档参考

datax开源地址: https://github.com/alibaba/DataX

datax-web开源地址: https://github.com/WeiYe-Jing/datax-web

 

环境条件:

1、python

2、jdk8,数据库jdbc有要求,像sqlserver2005使用jdk8就会报ssl错误,版本升级到jdk11就行;

3、maven,项目打包时用到,也可以本地打好包上传datax上去解压使用;

4、安装需要同步的数据库。

部署遇到的坑

1、sqlserver2005使用的jdk8会报ssl错误,需要把jdk升级到jdk11就可以;

2、执行器端口冲突,启动时执行器没有自动注册,查看执行器日志发现报9999端口冲突,需要修改env.pro修改端口即可;

3、执行器阿里服务器上外网开放相应的端口(9527客户端访问,9998执行器端口);

4、执行器阿里服务器上外网ip地址可以强制在aplication.yml文件添加,重启即可;

5、sqlserver读取字段要加上'[]'括起来,要不然会报,字段类型转化异常;mysql用单引号''括起来,最好使用datax-web生成例子;