Flink窗口函数 tumble -526互联

小结：

1、系统会根据数据的Event Time生成的Watermark来进行关窗

FlinkSQL支持的窗口函数类型_实时计算Flink版-阿里云帮助中心 https://help.aliyun.com/zh/flink/developer-reference/overview-4

重要

本文中含有需要您注意的重要提示信息，忽略该信息可能对您的业务造成影响，请务必仔细阅读。

本文为您介绍Flink SQL支持的窗口函数以及窗口函数支持的时间属性和窗口类型。

窗口函数

Flink SQL窗口函数支持基于无限大窗口的聚合（无需在SQL Query中，显式定义任何窗口）以及对一个特定的窗口的聚合。例如，需要统计在过去的1分钟内有多少用户点击了某个网页，可以通过定义一个窗口来收集最近1分钟内的数据，并对这个窗口内的数据进行实时计算。

Flink SQL支持的窗口聚合主要是两种：Window聚合和Over聚合。本文档主要为您介绍Window聚合。Window聚合支持Event Time和Processing Time两种时间属性定义窗口。每种时间属性类型支持三种窗口类型：滚动窗口（TUMBLE）、滑动窗口（HOP）和会话窗口（SESSION）。

警告

滚动窗口、滑动窗口和会话窗口不能与last_value、first_value、TopN函数合用，会造成数据乱序被丢弃，导致结果数据异常。

时间属性

Flink SQL支持Event Time和Processing Time两种时间属性，时间属性详情请参见时间属性。Flink可以基于这两种时间属性对数据进行窗口聚合。基于这两种时间属性开窗的区别如下：

Event Time：您提供的事件时间，通常是数据的最原始的创建时间。
系统会根据数据的Event Time生成的Watermark来进行关窗。只有当Watermark大于关窗时间，才会触发窗口的结束，窗口结束才会输出结果。如果一直没有触发窗口结束的数据流入Flink，则该窗口就无法输出数据。单并发的Watermark是递增的，多并发或者多个源表的Watermark取最小值。
重要
- 如果源表中存在一条未来的乱序数据或者某个并发没有数据，则可能会无法触发窗口结束，从而导致结果数据异常。因此您需要根据数据乱序的程度设置合理的offset大小，并保证所有并发都有数据。如果某个源表并发或源表上游partition因没有数据导致窗口始终无法被触发，则可以在更多Flink配置中添加table.exec.source.idle-timeout: 10s来触发窗口结束。该参数含义详情请参见Configuration。
- 数据经过GroupBy、双流JOIN或OVER窗口节点后，会导致Watermark属性丢失，无法再使用Event Time进行开窗。
Processing Time：对事件进行处理的本地系统时间。

Processing Time是Flink系统产生的，不在用户的原始数据中。因此需要您显示定义一个Processing Time列。

说明

因为Processing Time容易受到事件到达Flink系统的速度及Flink内部处理数据顺序的影响，所以每次回溯数据的结果可能不一致。

级联窗口

Rowtime列在经过窗口操作后，其Event Time属性将丢失。您可以使用辅助函数TUMBLE_ROWTIME、HOP_ROWTIME或SESSION_ROWTIME，获取窗口中的Rowtime列的最大值max(rowtime)作为时间窗口的Rowtime，其类型是具有Rowtime属性的TIMESTAMP，取值为window_end - 1 。例如[00:00, 00:15) 的窗口，返回值为00:14:59.999 。

示例逻辑为：基于1分钟的滚动窗口聚合结果，进行1小时的滚动窗口聚合，可以满足您的多维度开窗需求。

CREATE TEMPORARY TABLE user_clicks(
  username varchar,
  click_url varchar,
  eventtime varchar,                                                        
  ts AS TO_TIMESTAMP(eventtime),
  WATERMARK FOR ts AS ts - INTERVAL '2' SECOND  --为Rowtime定义Watermark。
) with (
  'connector'='sls',
  ...
);

CREATE TEMPORARY TABLE tumble_output(
  window_start TIMESTAMP,
  window_end TIMESTAMP,
  username VARCHAR,
  clicks BIGINT
) with (
  'connector'='datahub'       --目前SLS只支持输出VARCHAR类型的DDL，所以使用DataHub存储。
  ...
);

CREATE TEMPORARY VIEW one_minute_window_output AS 
SELECT 
  TUMBLE_ROWTIME(ts, INTERVAL '1' MINUTE) as rowtime,  --使用TUMBLE_ROWTIME作为二级Window的聚合时间。
  username, 
  COUNT(click_url) as cnt
FROM user_clicks
GROUP BY TUMBLE(ts, INTERVAL '1' MINUTE),username;

BEGIN statement set;
INSERT INTO tumble_output
SELECT
  TUMBLE_START(rowtime, INTERVAL '1' HOUR),
  TUMBLE_END(rowtime, INTERVAL '1' HOUR),
  username,
  SUM(cnt)
FROM one_minute_window_output
GROUP BY TUMBLE(rowtime, INTERVAL '1' HOUR), username;
END;

中间数据

窗口的中间数据分为Keyed State和定时器（Timer）两类，可以分别存储在不同的存储介质中，您可以根据作业的特点选择不同的搭配，目前支持以下四种选择：

Keyed State存储	定时器存储介质
GeminiStateBackend	内存
HashMapStateBackend	内存
RocksDBStateBackend	内存
RocksDBStateBackend	文件

有关状态存储后端的选择请参见企业级状态后端存储介绍和HashMapStateBackend。定时器主要用于触发过期的窗口，在内存充裕的情况下，将定时器存储在内存中可以得到更好的性能；在定时器较多或内存资源紧张的情况下，您可以选择RocksDB StateBackend将定时器存储在RocksDB的文件中。

如何使用Flink滚动窗口函数_实时计算Flink版-阿里云帮助中心 https://help.aliyun.com/zh/flink/developer-reference/tumble

本文为您介绍如何使用Flink滚动窗口函数。

定义

滚动窗口（TUMBLE）将每个元素分配到一个指定大小的窗口中。通常，滚动窗口有一个固定的大小，并且不会出现重叠。例如，如果指定了一个5分钟大小的滚动窗口，无限流的数据会根据时间划分为[0:00, 0:05)、[0:05, 0:10)、[0:10, 0:15)等窗口。

语法

TUMBLE函数用在GROUP BY子句中，用来定义滚动窗口。

TUMBLE(<time-attr>, <size-interval>)
<size-interval>: INTERVAL 'string' timeUnit

说明

<time-attr>参数必须是时间流中的一个合法的时间属性字段，指定为Processing Time或Event Time，请参见概述，了解如何定义时间属性。

标识函数

使用标识函数选出窗口的起始时间或者结束时间，窗口的时间属性用于下级Window的聚合。


窗口标识函数	返回类型	描述
`TUMBLE_START(time-attr, size-interval)`	TIMESTAMP	返回窗口的起始时间（包含边界）。例如`[00:10,00:15)`窗口，返回`00:10`。
`TUMBLE_END(time-attr, size-interval)`	TIMESTAMP	返回窗口的结束时间（包含边界）。例如`[00:00, 00:15]`窗口，返回`00:15`。
`TUMBLE_ROWTIME(time-attr, size-interval)`	TIMESTAMP(rowtime-attr)	返回窗口的结束时间（不包含边界）。例如`(00:00, 00:15)`窗口，返回`00:14:59.999`。返回值是一个rowtime attribute，即可以基于该字段进行时间属性的操作，例如，级联窗口只能用在基于Event Time的Window上，详情请参见级联窗口。
`TUMBLE_PROCTIME(time-attr, size-interval)`	TIMESTAMP(rowtime-attr)	返回窗口的结束时间（不包含边界）。例如`(00:00, 00:15)`窗口，返回`00:14:59.999`。返回值是一个Proctime Attribute，即可以基于该字段进行时间属性的操作。例如，级联窗口只能用在基于Processing Time的Window上，详情请参见级联窗口。

使用Event Time统计每个用户每分钟在指定网站的单击数示例

测试数据


username（VARCHAR）	click_url（VARCHAR）	eventtime（VARCHAR）
Jark	`http://taobao.com/xxx`	`2017-10-10 10:00:00.0`
Jark	`http://taobao.com/xxx`	`2017-10-10 10:00:10.0`
Jark	`http://taobao.com/xxx`	`2017-10-10 10:00:49.0`
Jark	`http://taobao.com/xxx`	`2017-10-10 10:01:05.0`
Jark	`http://taobao.com/xxx`	`2017-10-10 10:01:58.0`
Timo	`http://taobao.com/xxx`	`2017-10-10 10:02:10.0`

测试语句

CREATE TEMPORARY TABLE user_clicks(
  username varchar,
  click_url varchar,
  eventtime varchar,                            
  ts AS TO_TIMESTAMP(eventtime),
  WATERMARK FOR ts AS ts - INTERVAL '2' SECOND  --为Rowtime定义Watermark。
) WITH (
  'connector'='sls',
  ...
);

CREATE TEMPORARY TABLE tumble_output(
  window_start TIMESTAMP,
  window_end TIMESTAMP,
  username VARCHAR,
  clicks BIGINT
) WITH (
  'connector'='datahub'          --目前SLS只支持输出VARCHAR类型的DDL，所以使用DataHub存储。
  ...
);

INSERT INTO tumble_output
SELECT
TUMBLE_START(ts, INTERVAL '1' MINUTE) as window_start,
TUMBLE_END(ts, INTERVAL '1' MINUTE) as window_end,
username,
COUNT(click_url)
FROM user_clicks
GROUP BY TUMBLE(ts, INTERVAL '1' MINUTE),username;

测试结果


window_start （TIMESTAMP）	window_end （TIMESTAMP）	username（VARCHAR）	clicks（BIGINT）
`2017-10-10 10:00:00.0`	`2017-10-10 10:01:00.0`	Jark	3
`2017-10-10 10:01:00.0`	`2017-10-10 10:02:00.0`	Jark	2
`2017-10-10 10:02:00.0`	`2017-10-10 10:03:00.0`	Timo	1

使用Processing Time统计每个用户每分钟在指定网站的单击数示例

测试数据


username （VARCHAR）	click_url（VARCHAR）
Jark	`http://taobao.com/xxx`
Jark	`http://taobao.com/xxx`
Jark	`http://taobao.com/xxx`
Jark	`http://taobao.com/xxx`
Jark	`http://taobao.com/xxx`
Timo	`http://taobao.com/xxx`

测试语句

CREATE TEMPORARY TABLE window_test (
  username   VARCHAR,
  click_url  VARCHAR,
  ts as PROCTIME()
) WITH (
  'connector'='sls',
  ...
);

CREATE TEMPORARY TABLE tumble_output(
  window_start TIMESTAMP,
  window_end TIMESTAMP,
  username VARCHAR,
  clicks BIGINT
) WITH (
  'connector'='datahub'              --目前SLS只支持输出VARCHAR类型的DDL，所以使用DataHub存储。
  ...
);

INSERT INTO tumble_output
SELECT
TUMBLE_START(ts, INTERVAL '1' MINUTE),
TUMBLE_END(ts, INTERVAL '1' MINUTE),
username,
COUNT(click_url)
FROM window_test
GROUP BY TUMBLE(ts, INTERVAL '1' MINUTE), username;

测试结果


window_start （TIMESTAMP）	window_end （TIMESTAMP）	username （VARCHAR）	clicks（BIGINT）
`2019-04-11 14:43:00.000`	`2019-04-11 14:44:00.000`	Jark	5
`2019-04-11 14:43:00.000`	`2019-04-11 14:44:00.000`	Timo	1

如何使用Flink滑动窗口函数_实时计算Flink版-阿里云帮助中心 https://help.aliyun.com/zh/flink/developer-reference/hop

重要

本文中含有需要您注意的重要提示信息，忽略该信息可能对您的业务造成影响，请务必仔细阅读。

本文为您介绍Flink SQL支持的窗口函数以及窗口函数支持的时间属性和窗口类型。

窗口函数

警告

滚动窗口、滑动窗口和会话窗口不能与last_value、first_value、TopN函数合用，会造成数据乱序被丢弃，导致结果数据异常。

时间属性

Event Time：您提供的事件时间，通常是数据的最原始的创建时间。
系统会根据数据的Event Time生成的Watermark来进行关窗。只有当Watermark大于关窗时间，才会触发窗口的结束，窗口结束才会输出结果。如果一直没有触发窗口结束的数据流入Flink，则该窗口就无法输出数据。单并发的Watermark是递增的，多并发或者多个源表的Watermark取最小值。
重要
- 如果源表中存在一条未来的乱序数据或者某个并发没有数据，则可能会无法触发窗口结束，从而导致结果数据异常。因此您需要根据数据乱序的程度设置合理的offset大小，并保证所有并发都有数据。如果某个源表并发或源表上游partition因没有数据导致窗口始终无法被触发，则可以在更多Flink配置中添加table.exec.source.idle-timeout: 10s来触发窗口结束。该参数含义详情请参见Configuration。
- 数据经过GroupBy、双流JOIN或OVER窗口节点后，会导致Watermark属性丢失，无法再使用Event Time进行开窗。
Processing Time：对事件进行处理的本地系统时间。

Processing Time是Flink系统产生的，不在用户的原始数据中。因此需要您显示定义一个Processing Time列。

说明

因为Processing Time容易受到事件到达Flink系统的速度及Flink内部处理数据顺序的影响，所以每次回溯数据的结果可能不一致。

级联窗口

示例逻辑为：基于1分钟的滚动窗口聚合结果，进行1小时的滚动窗口聚合，可以满足您的多维度开窗需求。

CREATE TEMPORARY TABLE user_clicks(
  username varchar,
  click_url varchar,
  eventtime varchar,                                                        
  ts AS TO_TIMESTAMP(eventtime),
  WATERMARK FOR ts AS ts - INTERVAL '2' SECOND  --为Rowtime定义Watermark。
) with (
  'connector'='sls',
  ...
);

CREATE TEMPORARY TABLE tumble_output(
  window_start TIMESTAMP,
  window_end TIMESTAMP,
  username VARCHAR,
  clicks BIGINT
) with (
  'connector'='datahub'       --目前SLS只支持输出VARCHAR类型的DDL，所以使用DataHub存储。
  ...
);

CREATE TEMPORARY VIEW one_minute_window_output AS 
SELECT 
  TUMBLE_ROWTIME(ts, INTERVAL '1' MINUTE) as rowtime,  --使用TUMBLE_ROWTIME作为二级Window的聚合时间。
  username, 
  COUNT(click_url) as cnt
FROM user_clicks
GROUP BY TUMBLE(ts, INTERVAL '1' MINUTE),username;

BEGIN statement set;
INSERT INTO tumble_output
SELECT
  TUMBLE_START(rowtime, INTERVAL '1' HOUR),
  TUMBLE_END(rowtime, INTERVAL '1' HOUR),
  username,
  SUM(cnt)
FROM one_minute_window_output
GROUP BY TUMBLE(rowtime, INTERVAL '1' HOUR), username;
END;

中间数据

Keyed State存储	定时器存储介质
GeminiStateBackend	内存
HashMapStateBackend	内存
RocksDBStateBackend	内存
RocksDBStateBackend	文件