prince的文章

1. Flink中的TaskManger与Slots Flink中每一个worker(TaskManager)都是一个JVM进程，它可能会在独立的线程上执行一个或多个subtask。为了控制一个worker能接收多少个task，worker...

赞(0)princeFlink 深入 阅读(188)

1. Savepoint介绍 Savepoint:保存点,类似于以前玩游戏的时候,遇到难关了/遇到boss了,赶紧手动存个档,然后接着玩,如果失败了,赶紧从上次的存档中恢复,然后接着玩 在实际开发中,可能会遇到这样的情况:如要对集群进行停机...

赞(0)princeFlink 深入 阅读(193)

1. 重启策略配置方式 ①配置文件中 在flink-conf.yml中可以进行配置,示例如下: restart-strategy: fixed-delay restart-strategy.fixed-delay.attempts: 3 r...

赞(0)princeFlink 深入 阅读(218)

1. State Vs Checkpoint State: 维护/存储的是某一个Operator的运行的状态/历史值,是维护在内存中! 一般指一个具体的Operator的状态(operator的状态表示一些算子在运行的过程中会产生的一些历史...

赞(0)princeFlink 深入 阅读(266)

1. 托管状态和原始状态 从Flink是否接管角度:可以分为：ManagedState(托管状态) 和 RawState(原始状态) 两者的区别如下： 1、从状态管理方式的方式来说，Managed State 由 Flink Runtime...

赞(0)princeFlink 深入 阅读(178)

1. Flink中的有状态计算 Flink中已经对需要进行有状态计算的API,做了封装,底层已经维护好了状态! 例如,之前下面代码,直接使用即可,不需要像SparkStreaming那样还得自己updateStateByKey 也就是说我们...

赞(0)princeFlink 深入 阅读(238)

1. 需求描述 有订单数据,格式为: (订单ID，用户ID，时间戳/事件时间，订单金额) 要求每隔5s,计算5秒内，每个用户的订单总金额 并添加Watermaker来解决一定程度上的数据延迟和数据乱序问题。 并使用OutputTag+all...

赞(0)princeFlink 深入 阅读(227)

1. 需求描述 有订单数据,格式为: (订单ID，用户ID，时间戳/事件时间，订单金额) 要求每隔5s,计算5秒内，每个用户的订单总金额 并添加Watermaker来解决一定程度上的数据延迟和数据乱序问题。 2. API说明 注意:一般我们...

赞(0)princeFlink 深入 阅读(218)

1. 什么是Watermark Watermaker就是给数据再额外的加的一个时间列，也就是Watermaker是个时间戳! 2. 如何计算Watermark 定义： Watermaker = 数据的事件时间 - 最大允许的延迟时间或乱序时...

赞(0)princeFlink 深入 阅读(198)

1. Flink中时间语议概述 在Flink的流式处理中，会涉及到时间的不同概念，如下图所示： Event Time ：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink通过时间...

赞(0)princeFlink 深入 阅读(186)