sparksql

Apache Spark SQL 是 Apache Spark 生态系统的一部分，用于处理结构化数据的模块。它提供了一种高级的数据处理接口，使用户能够使用SQL查询语言和DataFrame API来查询和操作结构化数据。下面是一些关于 Spark SQL 的关键概念和功能： 1.DataFrame： ......

官方文档 key 备注 es.write.operation index(默认)添加新数据，旧数据被替换，重新索引;create添加新数据，数据存在抛出异常;update 更新现有数据，不存在抛出异常，upsert 插入及更新 es.mapping.id _id es的doc_id 出仓脚本exg: ......

现状 Apache Hue 是一个基于 Web 的交互式 SQL 助手，通过它可以帮助大数据从业人员（数仓工程师，数据分析师等）与数据仓库进行 SQL 交互。在 Amazon EMR 集群启动时，通过勾选 Hue 进行安装。在 Hue 启用以后，将原先需要登录主节点进行 SQL 编写及提交的工作转移 ......

### Spark SQL Spark SQL和我们之前讲Hive的时候说的hive on spark是不一样的。 hive on spark是表示把底层的mapreduce引擎替换为spark引擎。 而Spark SQL是Spark自己实现的一套SQL处理引擎。 Spark SQL是Spark中的 ......

[TOC] # SparkSQL ## 数据抽象 > SparkCore 的数据抽象：RDD > > SparkStreaming 的数据抽象：DStream，底层是RDD > > SparkSQL 的数据抽象：DataFrame 和 DataSet，底层是RDD ![](https://img20 ......

区别： FlinkSQL 的 insert 语句可只操作部分字段，而 SparkSQL 必须指定所有字段： spark-sql> create table t11 ( > ds BIGINT, > ts BIGINT, > pk BIGINT, > f0 BIGINT, > f1 BIGINT, > ......

1. 案例sql select A,B from testdata2 where A>2 对应的执行计划： == Analyzed Logical Plan == Project [A#23, B#24] +- Filter (A#23 > 2) +- SubqueryAlias testdata2 ......