Flink的3中API

发布时间 2023-08-29 16:52:46作者: zjb480

DataStream/DataSet/Table API是Apache Flink提供的三种不同的API,用于处理不同类型的数据和实现不同的计算模型。

1. DataStream API:DataStream API是基于流式数据的API,用于处理连续不断到达的数据流。它适用于实时数据处理和流式计算场景。DataStream API提供了丰富的操作符和函数,可以进行数据转换、过滤、聚合、窗口操作等。

2. DataSet API:DataSet API是基于批处理的API,用于处理有限的、静态的数据集。它适用于离线数据处理和批处理计算场景。DataSet API提供了类似于关系型数据库的操作符,可以进行数据的转换、筛选、分组、连接等。

3. Table API:Table API是一种声明式的API,提供了类似于SQL的语法,用于处理结构化数据。它可以在DataStream和DataSet之上进行操作,使得流处理和批处理之间的转换更加方便。Table API提供了丰富的表达式、函数和操作符,可以进行数据查询、过滤、聚合、连接等。 这三种API在功能和使用方式上有所区别,可以根据具体的场景和需求选择合适的API进行开发和使用。