datax hive
hive引入partition和bucket的概念,中文翻译分别为分区和桶
https://www.cnblogs.com/cxzdy/p/5524477.html hive引入partition和bucket的概念,中文翻译分别为分区和桶(我觉的不是很合适,但是网上基本都是这么翻译,暂时用这个吧),这两个概念都是把数据划分成块,分区是粗粒度的划分桶是细粒度的划分,这样做为 ......
hive和kudu数据之间的互相迁移存在的坑
一、为什么要进行数据迁移 背景:我现在有个需求:需要修改kudu表的主键,主键由1个字段增加为2个字段。因为不能影响下游系统使用kudu表,kudu表表名不能做修改。需要将原kudu表删除后再建新kudu表。 这里存在几个潜在知识点: 1.kudu表修改主键不能使用命令直接修改,必须重新删表然后建表 ......
工良出品:包教会,Hadoop、Hive 搭建部署简易教程
导读 最近一个数据分析朋友需要学习 Hive,刚好我也想学,便利用手头的服务器搭建一个学习环境,但是搭建过程中,发现网上的教程很多过时了,而且部署过程中,很多地方走不通,博主也没有给出对应的说明。花了大力气才从各种资料中完成 Hadoop、Mysql、Hive 三者的部署。 因此,本文记录在 Win ......
Sqoop导出ClickHouse数据到Hive
背景 公司采购了外部服务,其存储为ClickHouse,按照公司要求需要将其数据采集到Hive。 验证环境 CDH: 6.3.2 ClickHouse: 19.15.4.10 Sqoop: 1.4.7 Driver 需要在脚本中明确指明所使用的Driver完整签名。 ClickHouse使用自定义协 ......
比Sqoop功能更加强大开源数据同步工具DataX实战
前面两篇连续介绍两个数据同步组件后,好事应有三,大满贯收场,本篇介绍主流的异构数据源离线同步工具DataX的框架设计和执行流程,将其与大名鼎鼎大数据同步组件Sqoop做对比,部署安装并通过配置基于MySQL和HDFS互为读写的实例场景和关键配置说明。 ......