奕剑听雨
11
25
Flink容错机制--Checkpoint Flink容错机制--Checkpoint
开源生态系统多个系统都在尝试多种方式来解决容错问题。容错机制的设计将对框架设计预计编程模型都有深远的影响,导致难以在现有的流式框架上类似插件机制一样扩展实现不一样的容错策略。因此,流式计算内框架时,容错策略非常重要。我们讨论一下其他的流式计
2020-11-25
19
Flink复杂事件处理 Flink复杂事件处理
简介复杂事件处理(Complex Event Process,简称CEP)用来检测无尽数据流中的复杂模式,拥有从不同的数据行中辨识查找模式的能力。模式匹配是复杂事件处理的一个强大援助。 包括受一系列事件驱动的各种业务流程,例如在安全应用中侦
2020-11-19
03
Flink状态管理 Flink状态管理
在Flink中提供了StateBackend来存储和管理Checkpoints过程中的状态数据。 类别在Flink中状态可以分为三种: 基于内存的MemoryStateBackend(默认使用) 基于文件系统的FsStateBackend
2020-11-03
10
13
Flink状态机制 Flink状态机制
状态概念在Flink中数据流存在多次操作计算,其中会产生中间的结果,所谓的状态就是指Flink 程序的中间计算结果。以WordCount为例在计算过程中,其中Count在计算时我们可以理解为这个是一个状态,然后再进行累加操作。官方对于Fli
2020-10-13
10
Flink窗口杂项 Flink窗口杂项
上一篇文章中我们已经了解到了Flink的窗口的一些概念,在这篇博客中主要介绍一下Flink窗口相关的窗口函数、窗口触发器和驱逐器以及Flink对延迟数据的处理。 窗口函数在定义好Flink的窗口之后,我们可以定义窗口内数据的计算逻辑(Win
2020-10-10
09
23
Flink窗口概念 Flink窗口概念
窗口在Flink中窗口的作用实际上是将无限的数据流基于固定时间或者固定数量切分为各个有界的数据集合,然后在对这些数据进行聚合运算,从而获得一定范围时间内的数据统计结果。 在Flink的DataStream中的API已经包含了大多数的窗口算子
2020-09-23
20
Flink时间概念和Watermark Flink时间概念和Watermark
在流式数据处理中,数据具有时间的属性特征,Flink根据时间产生的位置不同,时间可区分为:事件生成事件(Event Time)、事件摄取事件(Ingestion Time)、事件处理事件(Processing Time)。 时间概念 事件
2020-09-20
12
Flink高级特性 Flink高级特性
本文主要介绍了Flink的一些特性,比如异步IO的使用,分布式缓存和流批处理中广播变量的应用。 在使用Flink处理数据的过程中,往往需要和外部的系统进行交互,通常情况下可以使用MapFunction创建外部链接,将请求发送到外部存储,IO
2020-09-12
08
11
Flink之Sink Flink之Sink
Sink是经历了转换操作之后的结果数据集,这种结果数据集需要传输或存储到校友的消息中间件内。Flink中将DataStream输出到外部的系统的过程称为DataSink操作,默认支持的有Kafka,Cassandra、ElasticSea
2020-08-11
07
22
Flink转换算子 Flink转换算子
Flink的转换算子,就是将一个或者多个DataStream生成新的DataStream的过程被称为Transformation操作,这些操作转换可以分为单Single-DataStream、Multi-DaataStream、物理分区三类
2020-07-22
1 / 2