prince的文章

1. 基于控制台和文件的Sink API ： ds.print 直接输出到控制台 ds.printToErr() 直接输出到控制台,用红色 ds.writeAsText("本地/HDFS的path",WriteMode.OV...

赞(0)princeFlink 深入 阅读(207)

1. union和connect算子 API ： union：union算子可以合并多个同类型的数据流，并生成同类型的数据流，即可以将多个DataStream[T]合并为一个新的DataStream[T]。数据将按照先进先出（First I...

赞(0)princeFlink 深入 阅读(195)

1. Flink中的Transformation算子概述 Apache Flink 1.12 Documentation: Operators 整体来说，流式数据上的操作可以分为四类： 1、 第一类是对于单条记录的操作，比如筛除掉不符合要求...

赞(0)princeFlink 深入 阅读(188)

1. 基于集合的Source 使用范围 ： 一般用于学习测试时编造数据时使用 API ： env.fromElements(可变参数); env.fromColletion(各种集合); env.generateSequence(开始,结束...

赞(0)princeFlink 深入 阅读(219)

1. 流处理和批处理 Flink官网：Apache Flink 1.12 Documentation: Learn Flink: Hands-on Training Batch Analytics，右边是 Streaming Analyti...

赞(0)princeFlink 深入 阅读(188)

1. Flink角色分工 在实际生产中，Flink 都是以集群在运行，在运行的过程中包含了两类进程。 JobManager：它扮演的是集群管理者的角色，负责调度任务、协调 checkpoints、协调故障恢复、收集 Job 的状态信息，并管...

赞(0)princeFlink 深入 阅读(219)

1. 创建DataSet的执行环境以及WordCount程序 package com.ddkk.hello; import org.apache.flink.api.common.functions.FlatMapFunction; imp...

赞(0)princeFlink 深入 阅读(180)

1. Flink的API说明 Flink提供了多个层次的API供开发者使用，越往上抽象程度越高，使用起来越方便；越往下越底层，使用起来难度越大 注意：在Flink1.12时支持流批一体，DataSetAPI已经不推荐使用了，所以课程中除了个...

赞(0)princeFlink 深入 阅读(174)

1. 参数总结 [root@node1 bin]# /export/server/flink/bin/flink --help ./flink <ACTION> [OPTIONS] [ARGUMENTS] The followi...

赞(0)princeFlink 深入 阅读(169)

1. 原理 1.1. 为什么使用Flink On Yarn 在实际开发中，使用Flink时，更多的使用方式是Flink On Yarn模式，原因如下： Yarn的资源可以按需使用，提高集群的资源利用率 Yarn的任务有优先级，根据优先级运行...

赞(0)princeFlink 深入 阅读(208)