奕剑听雨
  文章分类
JavaWeb 15 Hudi 5 容器 5 数据库 15 NOSQL 2 大数据 67 工具使用 1 运维 1 SpringBoot 21 微服务 8 数据结构 13 Pod 1
Flink集成Hudi Flink集成Hudi
公司业务需要需要调研hudi相关数据湖开源组件，下面简单记录下对应的踩坑记录 基础环境准备 组件 版本 Flink 1.17.0 Hudi 0.14.0 Hive 2.3.1 CDH 6.3.2 Kafka 2.2
2023-07-31 大数据
Flink
Flink-CEP Flink-CEP
复杂事件处理(CEP)是一种基于流处理，将系统数据看作不同类型事件，通过分析事件之间的联系，简历不同的事件关系系列库，并利用过滤，关联、聚合等技术，最终由简单事件产生高级事件，通过规则模式的方式对重要信息进行追踪分析，从实时数据中发掘有价值
2021-11-29 大数据
Flink
Flink Metrics任务监控 Flink Metrics任务监控
监控指标Flink任务提交得集群后，需要对任务进行有效监控，对Flink得监控指标可以分为系统指标和用户指标。Flink 提供的 Metrics 可以在 Flink 内部收集一些指标，通过这些指标让开发人员更好地理解作业或集群的状态。由于集
2021-11-14 大数据
Flink
Flink-SQL Window Flink-SQL Window
关于窗口这里不在展开论述，之前已经写到过了，本文重点关注SQL如何实现Flink Window的效果。本次使用的kafka数据JSON格式如下: "{\"Id\":9990,\"Name\":\"Nmae_9990\",\"Ope
2021-09-04 大数据
Flink
Flink-SQL Flink-SQL
Flink 为日期和时间提供了丰富的数据类型， 包括 DATE， TIME， TIMESTAMP， TIMESTAMP_LTZ， INTERVAL YEAR TO MONTH， INTERVAL DAY TO SECOND ，对多种时间类型
2021-08-26 大数据
Flink
Flink-Table Flink-Table
简介FlinkTable API和DataStream相似，有相同的编程模型，需要构建相应的TableEnviroment环境，才能够使用相应API。 开发环境使用Table需要引入相关的依赖这里以Flink 1.13.2为例,所需部分依赖
2021-08-25 大数据
Flink
Flink容错机制--Checkpoint Flink容错机制--Checkpoint
开源生态系统多个系统都在尝试多种方式来解决容错问题。容错机制的设计将对框架设计预计编程模型都有深远的影响，导致难以在现有的流式框架上类似插件机制一样扩展实现不一样的容错策略。因此，流式计算内框架时，容错策略非常重要。我们讨论一下其他的流式计
2020-11-25 大数据
Flink
Flink复杂事件处理 Flink复杂事件处理
简介复杂事件处理（Complex Event Process，简称CEP）用来检测无尽数据流中的复杂模式，拥有从不同的数据行中辨识查找模式的能力。模式匹配是复杂事件处理的一个强大援助。 包括受一系列事件驱动的各种业务流程，例如在安全应用中侦
2020-11-19 大数据
Flink
Flink状态管理 Flink状态管理
在Flink中提供了StateBackend来存储和管理Checkpoints过程中的状态数据。 类别在Flink中状态可以分为三种： 基于内存的MemoryStateBackend(默认使用) 基于文件系统的FsStateBackend
2020-11-03 大数据
Flink
Flink状态机制 Flink状态机制
状态概念在Flink中数据流存在多次操作计算，其中会产生中间的结果，所谓的状态就是指Flink 程序的中间计算结果。以WordCount为例在计算过程中，其中Count在计算时我们可以理解为这个是一个状态，然后再进行累加操作。官方对于Fli
2020-10-13 大数据
Flink
1 / 7