Kyuubi支持Iceberg配置

发布时间 2024-01-02 09:36:56作者: 黑水滴

一、简述

Kyuubi调用Spark来查询iceberg表,修改Spark配置信息即可。

二、服务配置

1、上传jar包到Kyuubi server节点

可以选择emr spark组件后,按照配置组(kyuubi-spark321)筛选kyuubi节点。

hadoop用户上传jar包:tx-iceberg-spark-runtime-3.2_2.12-1.3.1.jar

 

2、拷贝jar包到SPARK目录

cp ./tx-iceberg-spark-runtime-3.2_2.12-1.3.1.jar $SPARK_HOME/jars

 

3、修改配置spark-defaults.conf

spark.sql.catalog.iceberg_catalog.uri=127.0.0.1:7004.............
spark.sql.catalog.iceberg_catalog=org.apache.iceberg.spark.SparkCatalog
spark.sql.catalog.iceberg_catalog.type=hive
spark.sql.extensions org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions