奕剑听雨
09
23
Flink窗口概念 Flink窗口概念
窗口在Flink中窗口的作用实际上是将无限的数据流基于固定时间或者固定数量切分为各个有界的数据集合,然后在对这些数据进行聚合运算,从而获得一定范围时间内的数据统计结果。 在Flink的DataStream中的API已经包含了大多数的窗口算子
2020-09-23
20
Flink时间概念和Watermark Flink时间概念和Watermark
在流式数据处理中,数据具有时间的属性特征,Flink根据时间产生的位置不同,时间可区分为:事件生成事件(Event Time)、事件摄取事件(Ingestion Time)、事件处理事件(Processing Time)。 时间概念 事件
2020-09-20
12
Flink高级特性 Flink高级特性
本文主要介绍了Flink的一些特性,比如异步IO的使用,分布式缓存和流批处理中广播变量的应用。 在使用Flink处理数据的过程中,往往需要和外部的系统进行交互,通常情况下可以使用MapFunction创建外部链接,将请求发送到外部存储,IO
2020-09-12