prince的文章

17、Flink 状态编程之算子状态(OperatorState)

简介 除按键分区状态（KeyedState）之外，另一大类受控状态就是算子状态（OperatorState）。从某种意义上说，算子状态是更底层的状态类型，因为它只针对当前算子并行任务有效，不需要考虑不同key的隔离。算子状态功能不如按键分区...

赞(0)princeprinceFlink 教程 阅读(180)

16、Flink 状态编程之按键分区状态

简介 在实际应用中，一般都需要将数据按照某个key进行分区，然后再进行计算处理；所以最为常见的状态类型就是KeyedState。之前介绍到keyBy之后的聚合、窗口计算，算子所持有的状态，都是KeyedState 另外，还可以通过富函数类（...

赞(0)princeprinceFlink 教程 阅读(174)

15、Flink 状态编程之Flink状态

简介 在流处理中，数据是连续不断到来和处理的。每个任务进行计算处理时，可以基于当前数据直接转换得到输出结果；也可以依赖一些其他数据。这些由一个任务维护，并且用来计算输出结果的所有数据，就叫作这个任务的状态。 一、有状态算子 如上图所示为有状...

赞(0)princeprinceFlink 教程 阅读(189)

14、Flink 中的多流转换

多流转换 无论是基本的简单转换和聚合，还是基于窗口的计算，都是针对一条流上的数据进行处理的。而在实际应用中，可能需要将不同来源的数据连接合并在一起处理，也有可能需要将 一条流拆分开，所以经常会有对多条流进行处理的场景。本章就来讨论Flink...

赞(0)princeprinceFlink 教程 阅读(207)

13、Flink 处理函数

一、基本处理函数 处理函数主要是定义数据流的转换操作，所以也可以把它归到转换算子中。我们知道在Flink中几乎所有转换算子都提供了对应的函数类接口，处理函数也不例外；它所对应的函数类，就叫作ProcessFunction。 1.处理函数的功...

赞(0)princeprinceFlink 教程 阅读(189)

12、Flink 中的时间和窗口之窗口

窗口 我们已经了解了Flink中事件时间和水位线的概念，那它们有什么具体应用呢？当然是做基于时间的处理计算了。其中最常见的场景，就是窗口聚合计算。 之前我们已经了解了Flink中基本的聚合操作。在流处理中，我们往往需要面对的是连续不断、无休...

赞(0)princeprinceFlink 教程 阅读(188)

11、Flink 中的时间和窗口之水位线

水位线 在介绍事件时间语义时，提到了“水位线”的概念，已经知道了它其实就是用来度量事件时间的。那么水位线具体有什么含义，又跟数据的时间戳有什么关系呢？接下来就来深入探讨一下这个流处理中的核心概念。 一、事件时间和窗口 在实际应用中，一般会采...

赞(0)princeprinceFlink 教程 阅读(178)

10、Flink 中的时间和窗口之时间语义

时间语义 “时间”，从理论物理和哲学的角度解释，可能有些玄妙；但对于我们来说，它其实是生活中再熟悉不过的一个概念。一年365天，每天24小时，时间就像缓缓流淌的河，不疾不徐、无休无止地前进着，它是我们衡量事件发生和进展的标准尺度。如果想写抒...

赞(0)princeprinceFlink 教程 阅读(208)

分类