Flink复杂事件处理


简介

复杂事件处理(Complex Event Process,简称CEP)用来检测无尽数据流中的复杂模式,拥有从不同的数据行中辨识查找模式的能力。模式匹配是复杂事件处理的一个强大援助。 包括受一系列事件驱动的各种业务流程,例如在安全应用中侦测异常行为;在金融应用中查找价格、交易量和其他行为的模式。其他常见的用途如欺诈检测应用和传感器数据的分析等。

概念

简单事件

简单时间存在于现实生活中,其特点为处理单一事件,事件的定义可以直接观察出来,无需关注多个事件的关系,通过简单的数据处理即可得出结果。

复杂事件

由多个事件组成的复合事件。复杂事件处理监测分析事件流,当特定事件发生时来触发某些动作。

复杂事件中事件与事件之间包含多种类型关系,常见的有时序关系、聚合关系、层次关系、依赖关系及因果关系等。

开发步骤

FlinkCEP中提供了Pattern API 用于对输入流数据的复杂事件规则定义,并从事件流中抽取事件结果。包含四个步骤:

  • 输入事件流的创建
  • Pattern 的定义
  • Pattern 应用在事件流上检测
  • 选取结果

文章作者: 清风笑丶
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 清风笑丶 !
 上一篇
Flink容错机制--Checkpoint Flink容错机制--Checkpoint
开源生态系统多个系统都在尝试多种方式来解决容错问题。容错机制的设计将对框架设计预计编程模型都有深远的影响,导致难以在现有的流式框架上类似插件机制一样扩展实现不一样的容错策略。因此,流式计算内框架时,容错策略非常重要。我们讨论一下其他的流式计
2020-11-25
下一篇 
Flink状态管理 Flink状态管理
在Flink中提供了StateBackend来存储和管理Checkpoints过程中的状态数据。 类别在Flink中状态可以分为三种: 基于内存的MemoryStateBackend(默认使用) 基于文件系统的FsStateBackend
2020-11-03
  目录