奕剑听雨
  文章分类
JavaWeb 15 Hudi 5 容器 5 数据库 15 NOSQL 2 大数据 67 工具使用 1 运维 1 SpringBoot 21 微服务 8 数据结构 13 Pod 1
Flink窗口杂项 Flink窗口杂项
上一篇文章中我们已经了解到了Flink的窗口的一些概念，在这篇博客中主要介绍一下Flink窗口相关的窗口函数、窗口触发器和驱逐器以及Flink对延迟数据的处理。 窗口函数在定义好Flink的窗口之后，我们可以定义窗口内数据的计算逻辑(Win
2020-10-10 大数据
Flink
Flink窗口概念 Flink窗口概念
窗口在Flink中窗口的作用实际上是将无限的数据流基于固定时间或者固定数量切分为各个有界的数据集合，然后在对这些数据进行聚合运算，从而获得一定范围时间内的数据统计结果。 在Flink的DataStream中的API已经包含了大多数的窗口算子
2020-09-23 大数据
Flink
Flink时间概念和Watermark Flink时间概念和Watermark
在流式数据处理中，数据具有时间的属性特征，Flink根据时间产生的位置不同，时间可区分为：事件生成事件(Event Time)、事件摄取事件(Ingestion Time)、事件处理事件(Processing Time)。 时间概念 事件
2020-09-20 大数据
Flink
Flink高级特性 Flink高级特性
本文主要介绍了Flink的一些特性，比如异步IO的使用，分布式缓存和流批处理中广播变量的应用。 在使用Flink处理数据的过程中，往往需要和外部的系统进行交互，通常情况下可以使用MapFunction创建外部链接，将请求发送到外部存储，IO
2020-09-12 大数据
Flink
Flink之Sink Flink之Sink
Sink是经历了转换操作之后的结果数据集，这种结果数据集需要传输或存储到校友的消息中间件内。Flink中将DataStream输出到外部的系统的过程称为DataSink操作，默认支持的有Kafka，Cassandra、ElasticSea
2020-08-11 大数据
Flink
Flink转换算子 Flink转换算子
Flink的转换算子，就是将一个或者多个DataStream生成新的DataStream的过程被称为Transformation操作，这些操作转换可以分为单Single-DataStream、Multi-DaataStream、物理分区三类
2020-07-22 大数据
Flink
Flink Stream DataSource Flink Stream DataSource
顾名思义，DataSource就是数据源，在Flink中已经预先定义了一些DataSource，这些预定义好的数据源可以从文件，目录、套接字，以及从集合和迭代器中提取数据。预定好的数据源主要有：Socket、Amazon Kinesis S
2020-07-18 大数据
Flink
Flink运行架构 Flink运行架构
组件JobManager 控制一个应用程序执行的主进程，每个应用程序都会被一个不同的JobManager所控制。 JobManager会先接收到应用程序，应用程序包括：作业图(JobGraph)、逻辑数据流图和打包的所有类库和其他资源的Ja
2020-05-02 大数据
Flink
Flink初识 Flink初识
简介Flink起源于2010~2014的柏林工业大学、柏林洪堡大学、哈索·普拉特纳研究所联名发起的Stratosphere项目，该项目于2014年捐赠给了Apache软件基金会。2014年12月成为Apache软件基金会的顶级项目。 在德语
2020-01-21 大数据
Flink
Spark内核解析3 Spark内核解析3
步骤橙色：提交用户Spark程序 用户提交一个Spark程序，主要的流程如下所示： 用户spark-submit脚本提交一个Spark程序，会创建一个ClientEndpoint对象，该对象负责与Master通信交互 ClientEndp
2019-06-10 大数据
Spark
2 / 7