dremio hive 连接

发布时间 2023-10-20 09:21:40作者: 荣锋亮

dremio 对于hive 的连接实际上有两种方法,一种使用的是hive 的meta store ,一种是使用的hive jdbc server
第一中是官方支持的,第二种官方缺少直接的支持,需要自己开发相关的arp 扩展

一些参考实现

cdata 目前提供了一个开源实现,但是jdbc 驱动使用的是自己的,实际上这个我们可以调整为hive 官方的jdbc 驱动或者
aws 提供的(cdata 的jdbc 是收费的)

说明

开发一个dremio 的arp 扩展不难,核心是需要掌握需要开发的数据库的一些基本概念(数据类型,sql 处理)

参考资料

https://github.com/jerodj-cdata/dremio-apachehive-connector/
https://docs.dremio.com/24.1.x/sonar/data-sources/metastores/hive/
https://github.com/apache/hive/tree/master/jdbc
https://docs.aws.amazon.com/zh_cn/emr/latest/ReleaseGuide/HiveJDBCDriver.html
https://www.cdata.com/drivers/hive/jdbc/