prince的文章

1. 原理 从之前的架构中我们可以很明显的发现 JobManager 有明显的单点问题(SPOF，single point of failure)。JobManager 肩负着任务调度以及资源分配，一旦 JobManager 出现意外，其后...

赞(0)princeFlink 深入 阅读(219)

1. 原理 client客户端提交任务给JobManager JobManager负责申请任务运行所需要的资源并管理任务和资源， JobManager分发任务给TaskManager执行 TaskManager定期向JobManager汇报...

赞(0)princeFlink 深入 阅读(215)

1. 原理 Flink程序由JobClient进行提交 JobClient将作业提交给JobManager JobManager负责协调资源分配和作业执行。资源分配完成后，任务将提交给相应的TaskManager TaskManager启动...

赞(0)princeFlink 深入 阅读(202)

1. 为什么选择Flink 1.1. 主要原因 Flink 具备统一的框架处理有界和无界两种数据流的能力 部署灵活，Flink 底层支持多种资源调度器，包括Yarn、Kubernetes 等。Flink 自身带的Standalone 的调度...

赞(0)princeFlink 深入 阅读(181)

1. 实时即未来 如今的我们正生活在新一次的信息革命浪潮中，5G、物联网、智慧城市、工业4.0、新基建……等新名词层出不穷，唯一不变的就是变化！对于我们所学习的大数据来说更是这样：数据产生的越来越快、数据量越来越大，数据的来源越来越千变万化...

赞(0)princeFlink 深入 阅读(212)

端到端精确一次（end-to-end exactly-once） 实际应用中，最难做到、也最希望做到的一致性语义，无疑就是端到端（end-to-end）的“精确一次”（exactly-once）。对于Flink内部来说，检查点机制可以保证故...

赞(0)princeFlink 教程 阅读(194)

状态一致性 之前说到检查点又叫作“一致性检查点”，是Flink容错机制的核心。接下来就对状态一致性的概念进行说明，结合理论和实际应用场景，讨论Flink流式处理架构中的应对机制。 一、一致性的概念和级别 在分布式系统中，一致性（consis...

赞(0)princeFlink 教程 阅读(192)

检查点 流式数据连续不断地到来，无休无止；所以流处理程序也是持续运行的，并没有一个明确的结束退出时间。机器运行程序，996起来当然比人要容易得多，不过希望“永远运行”也是不切实际的。因为各种硬件软件的原因，运行一段时间后程序可能异常退出、机...

赞(0)princeFlink 教程 阅读(184)

简介 在Flink的状态管理机制中，很重要的一个功能就是对状态进行持久化（persistence）保存，这样就可以在发生故障后进行重启恢复。Flink对状态进行持久化的方式，就是将当前所有分布式状态进行“快照”保存，写入一个“检查点”（ch...

赞(0)princeFlink 教程 阅读(234)

简介 算子状态中有一类很特殊，就是广播状态（BroadcastState）。从概念和原理上讲，广播状态非常容易理解：状态广播出去，所有并行子任务的状态都是相同的；并行度调整时只要直接复制就可以了。然而在应用上，广播状态却与其他算子状态大不相...

赞(0)princeFlink 教程 阅读(190)