奕剑听雨
Flink状态管理 Flink状态管理
在Flink中提供了StateBackend来存储和管理Checkpoints过程中的状态数据。 类别在Flink中状态可以分为三种： 基于内存的MemoryStateBackend(默认使用) 基于文件系统的FsStateBackend
2020-11-03 大数据
Flink
Flink状态机制 Flink状态机制
状态概念在Flink中数据流存在多次操作计算，其中会产生中间的结果，所谓的状态就是指Flink 程序的中间计算结果。以WordCount为例在计算过程中，其中Count在计算时我们可以理解为这个是一个状态，然后再进行累加操作。官方对于Fli
2020-10-13 大数据
Flink
Flink窗口杂项 Flink窗口杂项
上一篇文章中我们已经了解到了Flink的窗口的一些概念，在这篇博客中主要介绍一下Flink窗口相关的窗口函数、窗口触发器和驱逐器以及Flink对延迟数据的处理。 窗口函数在定义好Flink的窗口之后，我们可以定义窗口内数据的计算逻辑(Win
2020-10-10 大数据
Flink
Flink窗口概念 Flink窗口概念
窗口在Flink中窗口的作用实际上是将无限的数据流基于固定时间或者固定数量切分为各个有界的数据集合，然后在对这些数据进行聚合运算，从而获得一定范围时间内的数据统计结果。 在Flink的DataStream中的API已经包含了大多数的窗口算子
2020-09-23 大数据
Flink
Flink时间概念和Watermark Flink时间概念和Watermark
在流式数据处理中，数据具有时间的属性特征，Flink根据时间产生的位置不同，时间可区分为：事件生成事件(Event Time)、事件摄取事件(Ingestion Time)、事件处理事件(Processing Time)。 时间概念 事件
2020-09-20 大数据
Flink
Flink高级特性 Flink高级特性
本文主要介绍了Flink的一些特性，比如异步IO的使用，分布式缓存和流批处理中广播变量的应用。 在使用Flink处理数据的过程中，往往需要和外部的系统进行交互，通常情况下可以使用MapFunction创建外部链接，将请求发送到外部存储，IO
2020-09-12 大数据
Flink
Flink之Sink Flink之Sink
Sink是经历了转换操作之后的结果数据集，这种结果数据集需要传输或存储到校友的消息中间件内。Flink中将DataStream输出到外部的系统的过程称为DataSink操作，默认支持的有Kafka，Cassandra、ElasticSea
2020-08-11 大数据
Flink
Flink转换算子 Flink转换算子
Flink的转换算子，就是将一个或者多个DataStream生成新的DataStream的过程被称为Transformation操作，这些操作转换可以分为单Single-DataStream、Multi-DaataStream、物理分区三类
2020-07-22 大数据
Flink
Flink Stream DataSource Flink Stream DataSource
顾名思义，DataSource就是数据源，在Flink中已经预先定义了一些DataSource，这些预定义好的数据源可以从文件，目录、套接字，以及从集合和迭代器中提取数据。预定好的数据源主要有：Socket、Amazon Kinesis S
2020-07-18 大数据
Flink
3 / 18