一、简述
Kyuubi调用Spark来查询iceberg表,修改Spark配置信息即可。
二、服务配置
1、上传jar包到Kyuubi server节点
可以选择emr spark组件后,按照配置组(kyuubi-spark321)筛选kyuubi节点。
hadoop用户上传jar包:tx-iceberg-spark-runtime-3.2_2.12-1.3.1.jar
2、拷贝jar包到SPARK目录
cp ./tx-iceberg-spark-runtime-3.2_2.12-1.3.1.jar $SPARK_HOME/jars
3、修改配置spark-defaults.conf
spark.sql.catalog.iceberg_catalog.uri=127.0.0.1:7004.............
spark.sql.catalog.iceberg_catalog=org.apache.iceberg.spark.SparkCatalog
spark.sql.catalog.iceberg_catalog.type=hive
spark.sql.extensions org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions